Une énorme motte tronconique est couronnée d'une enceinte flanquée de sept tours circulaires. Cette motte a été réalisée au moyen des remblais extraits lors du creusement du profond fossé sec cernant la place. Escarpe et contrescarpe ont été pavées en grès, sans doute à la fin du XVe siècle.

Le château est entouré d'une fausse-braie probablement contemporaine du pavage du fossé. Elle est flanquée de huit tours hémicylindriques ouvertes à la gorge. L'enceinte castrale primitive dessine un heptagone irrégulier, cantonné à chaque retour d'angle d'une massive tour circulaire. Chacune possède un étrange anneau dentelé à sa base. Nous ne voyons d'autre explication qu'une recherche esthétique, ou éventuellement de manifestation ostentatoire de puissance, à cette disposition inédite et jamais reproduite ultérieurement. Toutes ces tours étaient percées d'archères, obturées lors des remaniements du XVIe siècle.

Les bâtiments résidentiels, dont il ne reste plus rien, étaient adossés aux courtines et s'articulaient autour d'une cour dégagée très fonctionnelle, facilitant les communications. On y pénétrait par une porte coincée entre deux tours à éperons triangulaires. Cet agencement est assez fréquent dans la région (Porte de Jouy à Provins, ou Porte de Saint-Jean de Château-Thierry), mais tous les exemples connus sont postérieurs à la date supposée de construction de l'ensemble castral de Fère-en-Tardenois. Il n'est pas interdit cependant de poser l'hypothèse d'un remaniement ultérieur, inspiré des grandes portes royales à sas de la charnière des XIIIe et XIVe siècles. Les modifications du XVIe siècle rendent toutefois malaisée, voire impossible, toute conclusion péremptoire.

A la Renaissance donc, le château fut entièrement bouleversé. Les travaux s'étalèrent sur une trentaine d'années. Le vestige le plus emblématique de cette époque est bien évidemment le superbe pont-galerie à cinq arches, édifié de 1555 à 1560 et estampillé aux armes d'Anne de Montmorency et de son épouse. Large de 5 mètres et long de 60 mètres, il culmine à 17 mètres au-dessus du fond des fossés. Il possédait deux niveaux : un passage pour cavaliers, piétons et charrettes débouchant dans la cour en-dessous, et au-dessus une salle très étirée. Nombreux sont les analystes qui ont vu dans ce chef-d'œuvre la préfiguration de Chenonceaux. Cette interprétation ne résiste pas à l'examen des dates. Certes, le chantier du prestigieux joyaux de la vallée du Cher fut achevé par la reine Catherine de Médicis après la mort du roi Henri II (1559). Mais les travaux du pont-galerie avaient débuté sur ordre de Diane de Poitiers et sous la baguette de Philibert Delorme dès 1547. Il paraît donc plus logique d'imaginer le pont de Fère-en-Tardenois influencé par les plans de Chenonceaux que l'inverse.