Mit seiner über 400-jährigen Baugeschichte zählt das Kirms-Krackow-Haus zu den ältesten erhaltenen Bürgerhäusern Weimars. Der Gebäudekomplex gibt einen illustren Einblick in die Entwicklung vom Ackerbürgerhof des 16. Jahrhunderts bis zum Bürgerhaus in der Zeit der Klassik. Besondere Prägung erlangte das Anwesen zudem im 18. und 19. Jahrhundert als Wohnsitz der herzoglichen Beamtenfamilie Kirms, die eine prominente Stellung im gesellschaftlichen Leben Weimars einnahm und mit zahlreichen Kunst- und Geistesgrößen verkehrte.

Herzog Ernst August von Sachsen­-Weimar-Eisenach (1688–1748), als Bauherr äußerst agil, ließ um 1740 das Rokokoschloss erbauen. Architekt Gottfried Heinrich Krohne entwarf es als Hauptgebäude einer mehrteiligen Lustschlossanlage. Teile mussten später abgetragen werden, andere wurden gar nicht erst errichtet. Erhalten sind neben dem Schloss selbst der Marstall und die fingier­ten Befestigungsbauwerke mit dem Fünfeck, von dem aus der Herzog eine Heerschau in der Saaleaue betrachten wollte. In den beiden repräsentativen Geschossen gruppieren sich jeweils zwei Appartements um den Hauptsaal mit seinem farbenprächtigen Stuckmarmor und den darunter gelegenen Speisesaal, den Carl Alexander im späten 19. Jahrhundert im Stil des Neorokoko ausstatten ließ. Bereits 1539 erhielt das am Südende des Felshangs gelegene Rittergut ein Herrenhaus.