Le château est composé de deux ensembles : une première enceinte polygonale flanquée de tours cylindriques (dont le châtelet) et un noyau primitif plus restreint, qui abrite une chapelle, deux tours maîtresses et un logis. La multiplication des enceintes implique une division en plusieurs espaces : une basse-cour située entre la première et la seconde enceinte et trois cours nobles implantées dans le giron du noyau fortifié. Elles sont toutes indépendantes les unes des autres.

La première enceinte :

Elle est heptagonale et composée de sept tours dont l'épaisseur des murs à la base peut atteindre 3.60m, tout comme les courtines. L'entrée, aménagée au Nord-Ouest, est flanquée par deux grosses tours d'artillerie. Toute l'enceinte (tours et courtines) est percée d'archères-canonnières (fentes verticales auxquelles s'ajoutent un orifice de tir circulaire) dont l'étroitesse exclue cependant (selon J. Mesqui) le tir à l'arme à corde. Certaines sont dotées de croisillons facilitant la visée. L'ensemble, homogène, est daté de la seconde moitié du XVe siècle.

Le Châtelet d'entrée était à l'origine une tour-porte (élevée fin XIVe, début XVe siècle comme en témoigne le blason encore visible et le type des ponts-levis) percée d'une porte charretière et d'une porte piétonnière, toutes deux couvertes par des arcs brisés. Un fossé en barrait l'accès et les rainures des flèches des deux anciens ponts-levis sont toujours présentes. Le moyen appareil de cette tour-porte contraste avec celui des deux tours d'artillerie " flanquantes ", édifiées en petit appareil de moellons dans la 2e moitié du XVe siècle.

Des mâchicoulis sur consoles à trois ressauts contrôlent l'accès aux ponts-levis et le parapet qui les surmonte est percé d'une baie centrale et de deux archères-canonnières. Une fois les ponts-levis passés, l'entrée était barrée par une herse en bois, puis des portes en bois également, avant de déboucher enfin sur la basse-cour.

Celle-ci, de grande taille, englobe presque tout le noyau fortifié primitif, et sa vocation domestique reste attestée par les nombreux bâtiments encore accolés aux murailles.

La fortification primitive :

Il ne subsiste de l'enceinte primitive, en grande partie remaniée au XVe siècle, que certaines parties situées à l'Est : la chapelle romane (placée sous le patronage de Saint-Sébastien) et les courtines qui la jouxtent directement. Toutefois l'abside de cette chapelle fut percée, probablement au XVe siècle, de trois archères canonnières à croisillon. La chapelle, utilisée un temps comme un jardin d'hiver, communique désormais avec la basse-cour par de grandes ouvertures percées dans son mur. Un escalier rampant a été aménagé dans son mur Nord et desservait auparavant la cour noble basse.

Le noyau primitif est donc divisé en trois autres cours, indépendantes les unes des autres :

L'accès à la cour noble basse est percé dans le mur Nord de son enceinte par une simple ouverture accolée à la tour flanquement Nord-Est. Celle-ci, édifiée au XVe et dite tour de Montgiscard, aurait servi de pivot à la construction d'un autre pan d'enceinte jamais terminé. Cette cour abritait l'entrée originelle du logis, aujourd'hui située dans la cour noble intermédiaire.

La cour noble intermédiaire, située un peu plus haut, s'étend sur le front nord du noyau fortifié primitif et domine l'entrée de la cour noble basse. On y accède par une simple ouverture surmontée de quatre mâchicoulis sous couronnement. Cette entrée est flanquée par une tour circulaire, tandis qu'une échauguette contrôle le pan ouest de l'enceinte. Elle n'est en fait pas complètement séparée de la cour noble basse avec laquelle elle communique par l'intermédiaire de la tour de Montgiscard, munie d'un escalier rampant desservant les étages.

Enfin, l'ensemble tour maîtresse / logis, non homogène d'un point de vue architectural, entoure la cour noble haute. Totalement dépourvue d'enceinte sur son front ouest, elle forme donc une terrasse. Les deux tours maîtresses appartiennent à la partie la plus ancienne de la fortification (contemporaines de la chapelle romane). Le logis fut pour sa part amplement remanié au cours des siècles.