Le château se présente sous la forme approximative d'un triangle rectangle, le plus grand côté se trouvant au nord et son angle droit au sud-ouest.

Une rampe (toujours située sur son emplacement primitif) et un grand escalier (construit vers 1840) débouchent sur le bâtiment de la porterie, appelé aujourd'hui l'aile du prince. Pour en faciliter l'accès, on aménagea sur son arrière, au début du XVIIe siècle, un escalier reposant sur quatre arcades portées par des piliers de bois.

Une rampe intérieure, débouchant sur la porte de la herse, sépare l'aile du prince de la Chambre des comptes (aujourd'hui bâtiment du gouverneur). Tournée vers la place du château sa façade monumentale impressionne toujours. On y remarque deux des quatre lucarnes sommitales d'origine " noyées " dans la façade.

Dans le prolongement de la Chambre des comptes se dressent le bâtiment de l'intendance (tournée vers la cour du château) et la Sainte-Chapelle. Elle se compose d'une nef unique à abside polygonale à cinq pans reposant sur un massif soubassement. Son décor gothique flamboyant contraste avec sa façade baroque du XVIIe siècle (fronton, niches, pilastres, colonnes…).

La tour polygonale de la Trésorerie, qui la suit, est garnie à son niveau bas de canonnières (sept à l'origine) datant de la première moitié du XVe siècle. C'est l'élément défensif majeur relevé côté nord.

A la pointe nord-ouest du château, il ne reste du vieux " pavillon " que les salles souterraines qui abritèrent la " chapelle des princes ". Les étages supérieurs ont disparu lors de l'incendie de 1798.

Plus au sud, s'élève la tour demi-cylindrique appelée tour des Armes. Jusqu'à l'incendie de 1798, elle était couverte d'une haute toiture en poivrière. Au XIXe siècle, ses voûtes, planchers et cheminées, furent détruits pour aménager un grand escalier desservant le nouveau bâtiment. On y perça des fenêtres à meneaux et on la couronna de mâchicoulis, de créneaux et d'une échauguette.

L'aile royale (flanc sud du château) est un bâtiment long d'une centaine de mètres, coupé en son milieu par un grand escalier. L'appartement officiel de réception du préfet, la salle à manger aux seize colonnes et le grand salon en sont les pièces principales.

La tour du Carrefour, appelée aujourd'hui tour des Archives, est le troisième élément défensif du château. Elle surveille l'entrée et surplombe l'aile royale. Son chemin de ronde sur mâchicoulis est muni de plusieurs lucarnes. Une tourelle carrée, avec échauguette sommitale, s'appuie sur sa face ouest.