Attesté pour la première fois en 1216, le manoir de Blandy est transformé vers le milieu du XIIIe siècle en une forteresse de dimensions relativement modestes. Les comtes de Tancarville Jean II et son petit-fils Guillaume IV, propriétaires successifs du château, obtiennent respectivement des rois Charles V (1364-1480) et Charles VI (1180-1423) des fonds afin de transformer la place en riche demeure seigneuriale. Occupée sans discontinuité du XVe au XVIIe siècle, elle est convertie en ferme après 1707.

Les trois campagnes de construction successives (XIIIe et XIVe siècles) se lisent fort bien sur la structure de l'édifice. Au nord, l'enceinte primitive est de plan légèrement ovoïde. Subsistent du XIIIe siècle la Tour Carrée, ancienne tour-porte murée lors des remaniements ultérieurs, les tours circulaires Nord et de Justice (ou de la Prison) et les courtines reliant ces différents éléments. On trouve notamment sur les façades quelques belles archères à étriers, caractéristiques de l'architecture castrale de cette époque.

Les sires de Tancarville agrandirent l'enceinte vers le sud et l'est à compter de 1370. Ils édifièrent notamment une nouvelle tour-porte carrée à proximité de l'ancienne et érigèrent trois grosses tours cylindriques aux angles : la Tour des Gardes, le Donjon et la Tour des Archives. Ces trois éléments comportent d'importantes similitudes. Les bases furent élevées après 1370 en grès de Fontainebleau, alors que les étages supérieurs sont le fruit des travaux réalisés vers 1390 par Guillaume IV en moellons de pierre meulière, plus économique. Curiosité rare, le donjon ne possédait pas moins de trois issues : deux en rez-de-chaussée, la première ouvrant vers la cour (avec vantail, herse et assommoir) et la seconde vers l'extérieur (murée aujourd'hui) ; la troisième donnait directement sur le chemin de ronde dont elle était séparée par un pont-levis à bascule. L'architecture philippienne avait certes popularisé les doubles issues aux tours maîtresses (Dourdan, Gisors, Villeneuve-sur-Yonne…), mais trois portes restent une exception.

Notons pour terminer que la forteresse fait l'objet d'un soigneux programme de restauration depuis son acquisition par le Conseil Général de Seine-et-Marne en 1992.