L’histoire du château commence avec Raoul, frère du Duc de Normandie Richard 1^er, qui premier seigneur d’Ivry avec sa femme Alberède, fit construire la forteresse, l’une des plus puissante de son époque. C’était peu avant l’an 1000 et l’on raconte que « après l’achèvement des travaux, Alberède fit trancher la tête de Lanfred, l’architecte, dans la crainte qu’il entreprît une pareille construction pour quelqu’autre Seigneur ». Cela n’aura pas suffit puisque la tour de Londres serait construite sur des plans similaires…
Depuis, les combats se sont succédés autour de la forteresse jusqu’à sa destruction en 1424 par le Duc de Belfort. Ses fortifications sont ensuite démolies par Dunois, bâtard d’Orléans en 1449 après un long siège anglais.
Les vestiges restent très étendus et ont été mis à jour depuis 1968 par le club d’archéologie d’Ivry-la-Bataille.

En 1070, un échanson de Guillaume le Conquérant, Roger d’Ivry, fonde l’abbaye d’Ivry où il installe des religieux de l’ordre de Saint Benoît parmi lesquels se succèdent 47 abbés. Elle deviendra la propriété de Diane de Poitiers qui y plaça l’un des abbés le plus connu et bâtisseur de son château d’Anet Philibert Delorme qui est architecte. Plusieurs fois démolie et reconstruite, l’abbaye d’Ivry ne résista pas à la Révolution. Ne subsiste qu’un portail monumental orné de sculptures du XIe siècle.