El castillo, que ofrece el robusto aspecto de los castillos urbanos de la época, nos hace vacilar aún hoy entre sus funciones residenciales y militares. En 1536, al no querer dejarlo en manos de los habitantes de Lausana, los berneses instalaron en él a sus magistrados, o bailes. Desde 1803, es el Gobierno cantonal quien lo ocupa. La planta defensiva del castillo es particularmente notable. Éste fue construido en ladrillo y provisto de almenas y de merlones recortados, probablemente debido a la influencia de los maestros italianos invitados por el obispo Guillaume de Challant (1406-1431), originario del Valle de Aosta. Este modelo arquitectónico encuentra famosos predecesores, como la fortaleza de Verona, así como sucesores no menos célebres, como el Kremlin de Moscú.
