Erzherzog Stephan von Österreich war in der Zeit von 1847 bis 1867 Besitzer der Schaumburg. Er ließ das Schloss umbauen und legte eine Bibliothek, eine Gemäldegalerie und eine sehr umfangreiche Mineraliensammlung an. Die Schaumburg wurde zu einem Treffpunkt des Adels aus ganz Europa.
