Das zunächst als Carlsburg bekannte Vier-Türme-Haus wurde 1696/97 errichtet und wurde lange Zeit als Gäste- und Logierhaus genutzt. 1845 wurde das daran angrenzende Badhaus bei den Vier Türmen in Betrieb genommen. Nach dem Zweiten Weltkrieg dienten die Vier Türme als Bleibe für Ausgebombte und für Vertriebene.
1956 wurde das Gebäude vom Statistischen Landesamt genutzt. In den vergangenen Jahren konkretisierten sich die Vorstellungen, die Vier Türme und das Badhaus zum Hotel mit Restaurant und Café zu machen. ag