Der Kastorhof entstand im Zuge der mittelalterlichen Stadterweiterung, erhielt aber seine heutigen Dimensionen erst in der französischen Zeit. Damals wurden unter anderem auch die letzten Stiftsgebäude abgebrochen. Weitere Veränderungen folgten in der preußischen Zeit.
Die Bebauung des Kastorviertels – also Gasse und Platz – wurden im Zweiten Weltkrieg fast vollständig zerstört. Ausnahmen sind die Südseite des Kastorhofs mit den Bauten des Architekten Johann Claudius von Lassaulx (1781–1848), die St.-Jakobus-Kapelle des früheren Von der Leyenschen Hofes aus dem 14. Jahrhundert (samt dem späteren Anbau) und ein gründerzeitliches Gebäude auf der Westseite des Platzes.
Interessant ist die Geschichte des Brunnenmonuments auf dem Platz, das ursprünglich aus der bereits in kurfürstlicher Zeit geschaffenen Metternicher Quellwasserleitung gespeist wurde. Aufgestellt wurde es 1812 auf Initiative des französischen Präfekten Jules Doazan. Das Monument ersetzte einen 1804/05 nach Plänen des Architekten Christian Trosson geschaffenen Brunnenstein. Das neue Monument sollte die Taten Napoleons und seinen Russlandfeldzug verherrlichen. Die Inschrift erhielt eine unfreiwillige Komik, weil der Brunnen erst nach dem Scheitern des Feldzuges fertig wurde und russische Truppen im Zuge des Befreiungskriege Koblenz vorübergehend übernahmen. Berühmt geworden ist der Zusatz zur Inschrift: „Vu et approuvee par nous Commandant Russe de la ville de Coblentz le 1er Janvier 1814“. Übersetzt heißt dies: „Gesehen und genehmigt durch uns, den russischen Kommandanten der Stadt Koblenz am 1. Januar 1814.“
Das Brunnenmonument wurde nach einem Entwurf des französischen Militäringenieurs Dagobert Chauchet durch den Bildhauer Rauch gefertigt. Das Monument wurde ursprünglich von einer Plastik aus Kalkstein, die Vater Rhein und Mutter Mosel symbolisierte, gekrönt. Eine Kopie des Kunstwerks ist heute im Garten des Kurfürstlichen Schlosses aufgestellt.
Streng genommen ist heute nur noch der Sockel mit seinen umlaufenden Stufen erhalten. Er wurde aus Niedermendiger Basaltquadern hergestellt. Die beiden Brunnenschalen bestehen dagegen aus Marmor.
An das ursprüngliche Aussehen des Kastorhofs erinnern heute noch die ehemalige Knabenschule der Pfarrei St. Kastor (Nr. 6), das ehemalige Pfarrhaus (Nr. 8), die ehemalige Oberförsterei der Bezirksregierung (Nr. 10) und ein mehrstöckiges Wohnhaus (Nr. 19).
ka