Le commerce de vêtements à petits prix, exploité dès 1833 à Zurich par Johann Peter Jelmoli et qui consistait en un magasin et un service de vente par correspondance, prit en 1849 le nom de Jelmoli & Comp. En 1896, Franz Jelmoli, dernier directeur issu de la famille, transforma l'affaire en société anonyme. Les Grands Magasins Jelmoli SA, qu'il ouvrit en 1899, furent les premiers de Suisse. La vente par correspondance s'appuyant sur l'envoi de catalogues s'étendit dans tout le pays. Vers 1940, la majorité des actions passa à la famille d'éditeurs Ringier, en 1969 au Crédit suisse, puis en 1977 à UTC International SA; ces trois actionnaires firent de Jelmoli la plus grande entreprise suisse de ce type. La maison mère s'agrandit entre 1931 et 1961, un réseau de filiales se développa à partir de 1954. En 1963, Jelmoli acquit la majorité des parts des grands magasins Innovation à Lausanne et Au Grand Passage à Genève. En 1968, les entrepôts régionaux, ainsi que les centrales d'achat et d'expédition furent transférés à Otelfingen. Le groupe ouvrit aussi des agences de voyage et des teintureries au cours des années 1970 et prit des participations dans des grands magasins en France, en Belgique, en Autriche et aux Etats-Unis. En 1988, il exploitait en Suisse 231 points de vente. Le nombre des collaborateurs était de 72 en 1899, 875 en 1935, 1300 en 1945, 2700 en 1966 et 5200 en 1988; le chiffre d'affaires global s'élevait à 520 millions de francs en 1967 et 1,471 milliard en 1988.
En 1989 débuta la réorganisation de l'entreprise, poursuivie par Walter Fust, actionnaire majoritaire entre 1996 et 2003: le nombre des filiales fut réduit, le grand magasin concentré dans la maison mère à Zurich et les immeubles devenus vacants gérés par une division immobilière. En 1989, Jelmoli acquit la majorité de Hans Imholz Holding SA qu'il regroupa avec Jelmoli Voyages dans Imholz Voyages. En achetant la majorité d'Ing. Dipl. Fust SA en 1994, Jelmoli entra dans le marché de l'électroménager. En 1995, les Grands Magasins devinrent Jelmoli Holding SA. Sous la gestion de Fust, des secteurs peu rentables furent vendus (la majorité de Jelmoli VPC en 1996, Imholz Voyages en 1999). En même temps, on investit dans le commerce de détail, ouvrit des centres commerciaux comprenant des bureaux et des boutiques, des marchés EuroFust et intensifia le secteur immobilier. En 2004, le groupe employait 2600 personnes et réalisait un chiffre d'affaires de 1,1 milliard de francs. Le financier allemand Georg von Opel est devenu actionnaire majoritaire en 2003. Ing. Dipl. Fust SA a été racheté par Coop Suisse en 2007.