La notion d'art brut, due au peintre français Jean Dubuffet, est apparue en 1945. Il faut entendre par là des œuvres exécutées par des personnes sans culture, en marge de la société, ou internées dans des hôpitaux psychiatriques. Ces œuvres, étrangères au champ artistique institué et radicalement autodidactes, procèdent de systèmes figuratifs et de mythologies individuelles tout à fait singuliers et déconcertants.
Invité avec d'autres artistes francais par l'Office national suisse du tourisme à un voyage en Suisse au lendemain de la Deuxième Guerre mondiale, Dubuffet découvre les œuvres de Louis Soutter et d'Aloïse en Suisse romande, ainsi que celles d'Adolf Wölfli et d'Heinrich Anton Müller dans la collection que le psychiatre Walter Morgenthaler avait constituée en regroupant plusieurs milliers de créations d'artistes schizophrènes internés à l'asile de Waldau (BE). Dubuffet se met dès lors à collectionner ces œuvres en marge de la culture institutionnelle.
En 1947, Dubuffet crée le Foyer de l'art brut à Paris, puis la Compagnie de l'art brut dont feront partie André Breton et Jean Paulhan. La collection s'enrichit, des expositions sont mises sur pied sur les cas nouvellement découverts comme ceux de Jeanne Tripier, Auguste Forestier ou Miguel Hernandez. Dès 1964 paraissent les fascicules de L'art brut consacrés à des monographies sur les principaux auteurs. La collection, qui s'enrichit continûment d'apports principalement européens, est transférée à East Hampton, près de New York, de 1951 à 1962. Dubuffet, soucieux de lui assurer un statut public, pense à nouveau à la Suisse, où elle était née. Des pourparlers avec les autorités municipales de la ville de Lausanne et son syndic, Georges-André Chevallaz, aboutirent à une donation. La Collection de l'art brut fut inaugurée dans son nouveau site, le château de Beaulieu, un hôtel particulier du XVIIIe s., en février 1976. Plutôt que de clore l'ensemble en une sorte de "musée-cimetière", le parti a été pris avec l'accord de Dubuffet de l'enrichir et de l'animer par des expositions temporaires. Grâce à des acquisitions et des donations importantes (œuvres de Carlo, Vojislav Jakic, Reinhold Metz, Josef Wittlich, Johann Hauser, August Walla, Hans Krüsi, etc.), la collection, qui comptait quelque 5000 œuvres lors de la donation, avait sextuplé dans les années 1990. Notons enfin que le Museum im Lagerhaus à Saint-Gall conserve la collection de la Fondation pour l'art naïf et l'art brut en Suisse, créée en 1988.