Die Idee der Volkshochschule stammt aus Dänemark, wo bereits in der Mitte des 19. Jahrhunderts die ersten Heimvolkshochschulen gegründet wurden, in welchen sich die bäuerliche Bevölkerung in mehrmonatigen Kursen weiterbilden konnte.
In der Schweiz gründete Fritz Wartenweiler Volksbildungsheime (1919 Nussbaum in Frauenfeld, 1935 Herzberg in Densbüren), doch diese setzten sich hier, nicht zuletzt wegen des fehlenden Bildungsurlaubs, nie richtig durch. Demgegenüber erlangten die Abendvolkshochschulen eine gewisse Bedeutung. Die ersten Volkshochschulen wurden 1919 von bürgerlichen Kreisen im Anschluss an den Generalstreik in Basel, Zürich, Bern und Luzern gegründet. In der Westschweiz, im Tessin und im romanischsprachigen Teil Graubündens entstanden sie erst nach dem Zweiten Weltkrieg. Eine Ausnahme bildet die in der Arbeiterbewegung verankerte, 1900 gegründete Université ouvrière de Genève.
Insbesondere die Volkshochschulen von Basel und Zürich wurden als Reaktion auf die als staatsgefährdend wahrgenommene Arbeiterbewegung ins Leben gerufen. Diese Volkshochschulen verstanden sich als bürgerliche Integrationsinstrumente für die Arbeiterklasse und waren einer national überhöhten Gemeinschaftsidee verpflichtet. Dementsprechend bestand das erklärte Ziel in der Stärkung der demokratischen Urteils- und Entscheidungsfähigkeit der Teilnehmenden und der Vermittlungstätigkeit zwischen Wissenschaft, Universität und den unteren Volksschichten; die politisch und religiös neutralen Volkshochschulen sollten allen Bevölkerungsgruppen zugänglich sein. Es gelang jedoch nur teilweise, das anvisierte Publikum zu erreichen. Im Kursjahr 1923-1924 stammten in Basel 16% der Teilnehmenden aus der Arbeiterschaft. Dies mag nicht zuletzt auch daran liegen, dass das Wissen in universitärer Form vermittelt wurde.
Im Wintersemester 1919-1920 besuchten in Basel 5336 Personen 21 Kurse. Magistralvorlesungen mit über 500 Hörenden waren keine Seltenheit. Die Inhalte wurden von Universitätsprofessoren hauptsächlich aus den Naturwissenschaften, der Medizin, bildenden Kunst, Musik, Literatur, Psychologie und Philosophie vermittelt. Der Vergleich der Fächerbelegungen in der Schweiz zwischen 1920 und den 1990er Jahren zeigt vor allem auf, dass eine deutliche Verlagerung von den Naturwissenschaften zu den Sprachkursen stattgefunden hat. 1995-1996 machten die Sprachkurse bereits gut die Hälfte der Kursstunden aus. Noch in den 1950er Jahren wurde bezweifelt, ob die einem utilitären Bildungsverständnis verpflichteten Sprachkurse überhaupt an eine Volkshochschule gehörten. Erst in den 1960er Jahren integrierte man neue Themen der Persönlichkeitsbildung, der beruflichen Weiterbildung und des Freizeitbereichs in die Programme der Volkshochschulen.
In der Zwischenkriegszeit nahm die Zahl der Volkshochschulen stetig zu. 1943 wurde der Verband der Schweizerischen Volkshochschulen (VSV) gegründet. Er bezweckt die Ausbreitung des Volkshochschulgedankens, den Austausch von Erfahrungen, die Unterstützung beim Ausbau bestehender und der Gründung neuer Volkshochschulen und die Interessenvertretung gegenüber den Bundesbehörden. Der VSV ist Mitglied der Schweizerischen Vereinigung für Erwachsenenbildung.
Die kantonalen und regionalen Volkshochschulen sind meist privatrechtliche Vereine oder Stiftungen und erhalten in vielen Fällen kantonale und kommunale Subventionen. Es gibt sie in fast allen Kantonen der Schweiz, im Tessin unter dem Namen Corsi per adulti. Die Volkshochschulen leben vom ehrenamtlichen Engagement. Im Schuljahr 2009-2010 wurden insgesamt 10'563 Kurse angeboten, die von 154'753 Hörern besucht wurden. Obwohl in den 1980er und 1990er Jahren grosse Anstrengungen unternommen wurden, sowohl die Programminhalte als auch die erwachsenenbildnerischen Methoden der Zeit anzupassen, fällt es den Volkshochschulen noch immer schwer, vom Image der elitären Bildung für ein Mittelschichtpublikum im Alter zwischen 40 und 60 Jahren wegzukommen.