Château-sur-Epte se compose d’une enceinte circulaire (environ 110 m de diamètre) doublée d’un profond fossé et d’une motte surmontée d’un donjon (à cheval sur l’enceinte sud-ouest). L’enceinte est percée par deux tours-portes carrées, ouvertes à la gorge, munies de contreforts plats. Un assommoir, une double paire de vantaux (porte ouest) et un chemin de ronde intérieur en constituaient le système défensif.

La motte mesure environ 50 m de diamètre à la base pour 20 m à son sommet. Elle accueille un donjon cylindrique de 11,20 m de diamètre (dont il ne reste que les deux-tiers de la circonférence) et de 18 m de haut. La base du donjon est protégée par une chemise circulaire (il n’en reste que la moitié environ) percée par des arquebusières. Deux murs radians viennent fermer un réduit défensif situé au nord du donjon.

Au pied de la motte (à l’est) se développe un second enclos (la cour noble) protégé par un petit fossé et une tour-porte (dédoublée au XVIe siècle). Son angle sud-ouest conserve une tour qui défendait le « couloir » permettant d’accéder au sommet de la motte et au donjon. Un réduit, protégeant un puits jouxte, au nord, cette quatrième « tour-porte ».