Orderic Vital, « historien » des premiers ducs normands, nous apprend dans son « Historia Ecclesiastica » (« Histoire Ecclésiastique », rédigée vers 1130) que l’épouse du comte de Bayeux, Raoul, -demi-frère du duc de Normandie Richard Ier- aurait commandé la construction de la tour d’Ivry. Son édification se serait donc déroulée à la charnière du Xe et XIe siècle ; de 990 à 1011 (sous l’impulsion d’Aubrée) ou de 960-1020 (sous l’impulsion de son époux Raoul d’Ivry). Une légende rapporte qu’une fois la tour achevée, Aubrée aurait fait assassiner l’architecte afin qu’il ne puisse jamais reconstruire un pareil ouvrage.

Le château est rapidement au centre des guerres privées normandes, puis au cœur du conflit franco-normand. Vers 1030, le duc de Normandie, Robert le Magnifique, s’en empare, son seigneur, Hugues de Bayeux -fils de Raoul et d’Aubrée-, s’étant révolté contre son autorité ducale. Dès que le château passe entre les mains de Guillaume de Breteuil (en 1088), il est convoité par son voisin, le seigneur de Bréval. Cette lutte va durer plus de vingt ans et un certain Ascelin Goël parviendra même à s’y installer de 1090 à 1094.

En 1119, Louis VI le Gros, en guerre contre Henri Ier Beauclerc, s’en empare et l’incendie. Henri II Plantagenet récupère Ivry (« qu’il avait tant désiré » précise Robert de Torigni) en 1177. Philippe Auguste le refait passer dans le camp français en 1193/94 et le rend à Robert d’Ivry en 1200. C’est sans doute à cette époque que la partie supérieure de la tour est totalement remaniée, après l’enfouissement de son rez-de-chaussée : destruction de l’abside de la chapelle et construction, à la place, d’une tour ronde avec galerie de circulation et chambres de tirs.

Au XIVe siècle, d’autres modifications sont effectuées au château : ajout de deux tours en forme de fer à cheval (mur oriental du donjon et courtine ouest) et d’un châtelet d’entrée sur la courtine nord (Dominique Pitte, archéologue normand, le daterait plutôt de Philippe Auguste). La grosse tour à l’angle nord-est de l’enceinte est (re)construite au tout début du XVe siècle « sur ordre de roi de France ».

Lors de la guerre de Cent Ans, Ivry connaît de nouveau la fureur des combats. En 1418, le duc de Gloucester l’assiège et s’en empare au bout de quarante jours. En 1449, le duc de Bedford avec une armée colossale l’assiège de nouveau. Face au nombre, les troupes françaises se rendent et les Anglais détruisent le château (F.J. Mauduit -en 1899- place cette destruction en 1424).

Le dégagement du site par une association locale entre 1967 et 1982, permet à la tour d’Ivry de sortir de cinq siècles d’oubli. En 2007, un programme de fouilles archéologiques démarre.