Erst 1889 erhielt der Kunstverein – gegründet 1837, und damit einer der ältesten Kunstvereine Deutschlands – sein erstes eigenes Ausstellungsgebäude (Architekt Prof. Hermann Müller). Als dessen Eingang wurde das nördliche der beiden Wachthäuser des Rheintors integriert. Ausstellungen vor 1889 hatten unter anderem im Schloss stattgefunden. In der Brandnacht vom 11.09.1944 wurde das Gebäude stark zerstört. Nach wechselnden Ausstellungsorten entschloss sich der 1946 in Nachfolge gegründete «Neue Hessische Kunstverein» unter seinem 1.Vorsitzenden Prof. Max Nuß, am Ort der alten Kunsthalle einen Neubau zu errichten. Dazu wurde 1955 ein Architektenwettbewerb ausgeschrieben, den der an der damaligen Technischen Hochschule Architektur lehrende Prof. Theo Pabst gewann. Aus Anlass zur 150-Jahrfeier des Kunstvereins wurde 1985 die Kunsthalle auf Betreiben des damaligen
1. Vorsitzenden, Dr. Hermann Kleinstück, erweitert. Nach dem Entwurf des Büros Architektenpartner Frankfurt BDA, konnten mit Unterstützung der Stadt die Ausstellungsflächen auf einer Ebene realisiert und die Verwaltung und Galerieräume aus dem Ausstellungsbereich in das Obergeschoss verlegt werden. Dabei nimmt der Erweiterungsbau die Maße und Gestaltungselemente aus dem Entwurf von Pabst auf und setzt sich von diesem durch einen Innenhof ab.