Le Château possède trois enceintes. Celle située à l'extérieur entoure la basse-cour. Cette basse-cour est enveloppée d'un rempart muni d'une seule tour ronde, d'une porte et d'une poterne.

La plus haute enceinte est dominée par son donjon circulaire. Selon un manuscrit ancien, ce donjon aurait été dédié à saint Georges. On trouve la première mention de sa construction en 1304, en Angleterre. C'est l'un des plus imposants donjons de France, du moins par son diamètre. Sa base mesure en effet 16 m pour 18.5 m de haut. Les murs sont épais de 3.5 m d'épaisseur à la base, contre 1.50 au sommet.

Le donjon comprenait deux étages voûtés reliés par un escalier à vis encore existant. Le premier étage faisait 8 m de haut jusqu'à la clef de voûte (qui a été conservée et qui se trouve prés du puits). Il était pavé de carreaux sur lesquels on pouvait voir les armes des seigneurs d'Escoussan, des éléments floraux et des formes géométriques. Les voutes étaient peintes et recouvertes d'un semi de léopards d'or sur fond de gueule (couleur rouge), faisant parti des armoiries de cette famille. Sur toutes les nervures de voutes étaient peints les blasons des familles collatérales qui se sont succédées à la tête de la seigneurie.

Le château subit d'importantes transformations sous les règnes d'Henri IV et de Louis XIII.