L'ensemble dessine un pentagone irrégulier, épousant sans doute le plan de l'ancien château médiéval. De la forteresse bâtie par Louis VI, subsiste un gros donjon quadrangulaire planté dans l'angle nord-ouest, très modifié par Charles V et ses successeurs. Il est parfaitement intégré aux constructions ultérieures.

Œuvre de Pierre de Montreuil entre 1230 et 1238, la chapelle castrale constitue un magnifique spécimen de l'art gothique rayonnant. Sa nef mesure 27 m de longueur pour 10 m de largeur. La hauteur sous voûtes atteint 17 m. Fait exceptionnel, ses baies latérales sont serties dans des encadrements rectangulaires (voir photo 7 du diaporama). Son pignon occidental était éclairé par une magnifique rosace surmontant des arcatures aveugles. Elle est aujourd'hui obturée par le mur de l'aile ouest du palais, mais sa dentelle de pierre a été heureusement préservée. C'est ici que Louis IX reçut en 1238 de l'empereur titulaire de Constantinople, Baudouin II, la fameuse couronne d'épines du Christ.

Le château Renaissance a conservé les larges fossés secs. Il s'articule autour d'une vaste cour d'honneur. Des escaliers à vis sont disposés dans des tourelles à trois des angles. L'appareil en pierres de taille en rez-de-chaussée, est souligné par des chaînages de briquettes rouges à partir du troisième niveau. On y trouve également de petits balcons. Au sommet ont été installées des toitures dites " à l'italienne " (avec terrasses et balustrades). Les fenêtres sont disposées en retrait sur quatre niveaux. L'aile ouest abrite au premier étage (second si l'on compte l'entresol) la vaste salle de Mars, ancienne salle de bal commencée sous François Ier et achevée sous Henri II. Sa surface au sol avoisine les 500 m² (40 m sur 12 m). Elle est dotée d'une monumentale cheminée en briques rouges, ornée de la fameuse salamandre. Les appartements royaux étaient situés au premier étage dans l'aile nord, ceux de la reine dans l'aile, est et ceux des enfants du couple royal dans l'aile sud.

Il ne reste plus en direction de la Seine, qu'un simple pavillon de briques rouges du Château Neuf construit par Henri II.