Das Gebäude in der massiven Bauweise der damaligen Stadtschlösser weist auch heute noch darauf hin, dass es Wohn- und militärischen Zwecken zugleich diente. Da die Berner das Schloss 1536 nicht den Lausannern überlassen wollten, brachten sie dort ihren Landvogt unter. Seit 1803 ist es Sitz der Kantonsregierung. Besonders bemerkenswert ist das Wehrgeschoss des Schlosses. Es besteht aus Ziegeln und ist mit Zinnen und Maschikulis versehen. Wahrscheinlich wurde es von italienischen Meistern auf Einladung von Bischof Guillaume de Challant (1406-1431) errichtet, der selbst aus dem Aostatal stammte. Dieser Architekturtyp hat bekannte Vorläufer wie die Festung von Verona und nicht weniger berühmte Nachfolger wie den Moskauer Kreml.
