Le noyau médiéval est juché sur le point le plus élevé du site. Il est notamment composé de deux tours cylindriques, appelées " Tour de Grammont " et " Tour Mirabeau ". La Tour de Grammont possède un bossage rustique assez irrégulier sur près de la moitié de sa hauteur. Ces constructions (XIIIe siècle) occupent sans doute l'emplacement de bâtiments plus anciens. A l'orient trône un grand édifice rectangulaire communément désigné sous le nom de Donjon. Une grosse tour en fer-à-cheval complète l'ensemble. Conçue pour l'usage de l'artillerie, elle date de 1486.

Vauban cerne la forteresse primitive de trois enceintes successives en utilisant massivement, selon son habitude, les bastions, les casemates et les échauguettes d'angles. Une cinquième et dernière enceinte voit le jour après la guerre de 1870-1871 contre la Prusse, bâtie par Serré de Rivière. Un certain capitaine Joffre, plus tard promis à une certaine célébrité, est chargé de surveiller le chantier.

A noter que le fort abrite une importante collection d'armes du XVIIe au XIXe siècle dans le Donjon.