Debido a las revueltas ocurridas durante las vísperas sicilianas, el castillo permaneció deshabitado hasta 1285, cuando fue ocupado por Carlos II de Anjou. Por Vísperas sicilianas se conoce al acontecimiento histórico de la matanza de franceses en
Sicilia en el año 1282, que acabó causando el fin del reinado de Carlos de Anjou en la isla, sustituido por los reyes de
Aragón. En 1294 fue escenario de la abdicación del papa Celestino V y la elección de su sucesor Bonifacio VIII; bajo el reinado de Roberto I de Nápoles (1309-1343) el castillo fue ampliado y embellecido.