Le château forme un quadrilatère long de 113 m et large de 52 m au sud et 84 m au nord. L’entrée aujourd’hui se trouve au sud de l’enceinte, au-dessus des fortifications du XVIème siècle. Au XIème siècle, on entrait dans le castrum par le clocher-porche.

Pour y accéder, il faut parcourir le fossé nord (creusé dans la roche pour augmenter la défense) puis longer le pré de l’étang, côté ouest. A l’origine, un grand étang baignait la base de l’enceinte ouest (dont seulement un tiers subsiste aujourd’hui).

L’ensemble du bâti se concentre dans le nord du quadrilatère. L’angle nord-est de l’enceinte primitive conserve les traces du logis du XIVème siècle (arrachement de voûte et fenêtres à meneau), l’angle nord-ouest, le logis du XIème et XIIème siècle (cheminée romane, ouvertures encadrant la tour d’escalier).

Au centre se dresse la tour-clocher de plan carré composée de cinq salles : au rez-de-chaussée une grande salle voûtée (l’ancien narthex de l’église ?) puis une haute salle voûtée en berceau dite le silo. Au-dessus une salle voûtée très faiblement éclairée puis la salle des gardes, construite à cheval sur la tour et l’enceinte primitive nord. Au sommet, une vaste salle donne accès aux deux archères percées dans l’éperon. Toutes les ouvertures de la face nord du donjon ont été bouchées lors de la construction de l’éperon dont les murs ont plus de 7 m d’épaisseur. Accolée au sud-est du donjon, la tour de l’assommoir était l’entrée de la haute-cour. Cette porte d’entrée coudée, d’inspiration moyen-orientale, était défendue par des vantaux et une herse (accès sud). Au nord-ouest, la tour Gargalleau, renferme un vaste escalier à vis (1,60 m de largeur) desservant les étages de la tour-clocher.

De l’enceinte de la haute-cour, flanquée au XIIème siècle par quatre tours semi-cylindriques, il ne reste que la courtine orientale et la tour d’angle sud-est et, accolée à l’enceinte primitive ouest, une seconde tour.