Le château prend place sur un éperon rocheux entouré d'eau sur trois côtés. Il se présente sous la forme d'un vaste trapèze dont la plus grande base (celle du nord-est regardant la ville actuelle) est longue d'un peu plus de 100 mètres. Il conserve sur ce front ses assises gallo-romaines caractéristiques (alternance de pierres et de briques), vestiges les plus anciens du château. L'enceinte sur cette partie est flanquée, à l'est, par la tour Madeleine dont l'épaisseur des murs atteint 12 mètres et au nord, par l'ensemble composé des tours Duchesse Anne, Nord et Azénor ainsi que par le bastion Sourdéac. Son milieu est flanqué par le châtelet d'entrée (les tours Paradis) accès principal à la ville close. Ses deux tours semi-circulaires encadrent un court massif dans lequel se trouvaient le mécanisme de la herse et du pont-levis des portes (charretière et piétonne). La courtine comprise entre le châtelet et la tour Madeleine est épaisse de 19 mètres afin de résister à l'impact des tirs d'artillerie et aux vibrations des canons installés au sommet. Une fausse-braie renforce cette courtine et un boulevard triangulaire à pointe arrondie (ravelin) protège les tours d'entrée.

Deux autres tours à canons flanquent les angles du trapèze. La tour Française, pendant de la tour Madeleine, au sud et la tour de Brest sur la même courtine à l'ouest. Cette courtine sud-ouest est flanquée en son centre par la tour César, tour du XIIIe siècle à usage de sémaphore (à l'époque contemporaine). L'enceinte comprise entre les tours Madeleine et Française est flanquée par la tour du Moulin, construction de la fin du XIVe siècle ou du début du XVe siècle.

Le donjon est un ensemble composite constitué par une enceinte polygonale flanquée de trois tours : la tour Azénor (à l'ouest), la tour Nord et la tour Duchesse Anne (au sud-est), ces deux dernières étant rattachées par la travée Vauban. L'accès principal au donjon s'effectuait par une porte charretière défendue par un pont-levis franchissant le fossé séparant le donjon de la ville close. Les transformations des XVIe, XVIIe et XIXe siècles ont effacé les structures médiévales. Seules les quelques cheminées ou fenêtres à meneaux, les arcades passe-plats ou la clé de voûte de l'oratoire, rappellent la fonction résidentielle des lieux.