Du château édifié dans la seconde moitié du XIIe siècle par le sire de Mandeville, ne demeure que le gros donjon quadrangulaire. Après la prise de la Normandie par Philippe Auguste en 1204, la place fut confiée au maréchal de France Henri Clément. Elle passa ensuite entre les mains de plusieurs lignages normands, dont les sires de Tilly. Durant la Guerre de Cent Ans, le château fit l'objet de plusieurs sièges. Pris par le roi de Navarre et comte d'Evreux Charles Mauvais en 1363, il était à nouveau aux mains des Français en 1365 (Du Guesclin). Un seigneur de Chambois trouva la mort en 1415 à Azincourt. Les Anglais s'en emparèrent en 1417 et ne le reperdirent qu'en 1449. Les Tilly recouvrèrent alors leur bien.

Le château connut également quelques vicissitudes durant les Guerres de Religions et faillit disparaître à la Révolution. Sauvé in-extremis par son propriétaire, il traversa paisiblement le XIXe siècle avant son classement comme Monument Historique en 1901.

La tour mesure 21,40 mètres de long sur 15,40 mètres de large pour une hauteur totale de 26 mètres. Elle est construite en petit appareil irrégulier et est flanquée aux angles de quatre tourelles carrées. Les côtés les plus longs (nord-ouest et sud-est) sont étayés de contreforts plats. La base est légèrement talutée. On y pénétrait par une porte percée à hauteur du premier étage. La tourelle de l'angle nord comprenait des latrines et les conduits d'évacuation des eaux usées sont visibles de l'extérieur. Une petite bretèche, sans doute postérieure à la construction originelle, s'accroche au sommet de l'angle est.

L'intérieur se décomposait en trois volumes planchéiés. Le rez-de-chaussée est percé de rares fentes très réduites, mais comprend toutefois une cheminée. Cet aménagement, exceptionnel dans ce type de bâtiment à ce niveau, laisse supposer une vocation résidentielle et non une simple destination de garde-manger ou de cave comme de coutume (cuisine ?). De belles fenêtres géminées éclairent en revanche le premier étage. Elles sont ornées d'un modillon à tête humaine. On retrouve ces mêmes décorations à mi-hauteur, sur tout le pourtour de ce qui devait constituer la grande salle du château. Le dernier étage abritait selon toute vraisemblance les appartements seigneuriaux. Les communications verticales s'effectuaient primitivement au moyen d'escaliers certainement en bois et aujourd'hui disparus. Une vis fut aménagée assez tardivement dans une tourelle accolée au centre de la face sud-est. La terrasse supérieure était originellement crénelée et fut dotée à la charnière des XIVe et XVe siècles d'un chemin de ronde couvert sur mâchicoulis.

Longtemps délaissé, le donjon de Chambois fait aujourd'hui l'objet d'un important programme de restauration. La pierre y a recouvré sa blancheur originelle. Il est visible depuis la place principale du village, niché dans un cadre verdoyant et fleuri.