L’ensemble fortifié de Saint-Vérain se compose d’une motte castrale à laquelle s’attachent quatre enceintes. L’ensemble (donjon, haute et basse-cour puis bourg) s'évase depuis la fortification fossoyée jusqu’à l’enceinte urbaine se trouvant dans le vallon.

Sa partie haute est constituée d’un donjon trônant au sommet d’une motte artificielle, isolée du plateau par un fossé, et d’une enceinte pentagonale maçonnée flanquée de cinq tours. Il ne reste de cette dernière que sa muraille orientale « déparementée » et la tour dite du puits.

Le donjon circulaire (7 m de diamètre) se compose actuellement d’une citerne enterrée et de trois niveaux : le premier, servant de réserve, est éclairé par trois fentes d’éclairage largement ébrasées ; le second est doté d’une cheminée encadrée par deux baies (trous béants aujourd’hui) et de latrines. L’entrée devait se trouver à ce niveau « résidentiel » ; le dernier niveau possédait également des latrines et était chauffé par un foyer rejoignant le conduit de la cheminée du second niveau.

En dessous du réduit défensif se développent deux enceintes longues de 110 m environ : l’une protégeant le « château » et la chapelle (détruite en 1825), l’autre la basse-cour. Dix sept tours et deux portes les flanquaient. La tour des Colons ou du Renard, ainsi que la porte de Cosne (ou portail du vieux château) sont les éléments les mieux conservés.

Une quatrième enceinte (d’environ 140 m de long) ceinture le bourg. Trois portes en permettaient l’accès : la porte d’Auxerre, la porte de l’étang et la porte d’Alligny. Entre ces deux dernières, l’enceinte a conservé son parement d’origine. Près de l’église/prieuré, se dresse la seule tour carrée de l’ensemble fortifié, malheureusement totalement recouverte par une épaisse végétation.