El castillo se levanta al final de una meseta rocosa formando un promontorio gracias a la presencia de una falla natural. Dominando la región llamada de los cuatro ríos, fue la sede de una importante baronía salida de la aristocracia carolingia del Quercy - la familia de los Castelnau de Bretenoux - ya en posesión de una residencia fortificada en la zona en el siglo XI. Durante los siglos XIV y XV, el castillo adoptó su configuración final. La familia de Clermont-Lodève que heredó el título nobiliario en 1530, llevó a cabo a mediados del siglo XVII reformas importantes en la decoración del austero castillo. Este castillo es uno de los más bellos ejemplos de la arquitectura militar medieval.