Il Castello abbaziale fu residenza degli abati della Sacra nei secoli tredicesimo e quattordicesimo, subì gravi danni in seguito al saccheggio di una compagnia di ventura inglese nel 1363. Ricostruito, fu danneggiato una prima volta dai soldati francesi nel 1630 , venne riparato e, danneggiato definitivamente, sempre dai francesi nel 1706. Da allora gli abitanti del paese iniziarono ad asportarne i materiali. Attualmente rimane una torretta pensile; sono visibili alcune caditoie in mattoni, parte delle mensole in pietra che reggevano il ponte di accesso ed alcuni merli.