L’histoire du château commence avec Alberède, épouse de Raoul d’Ivry, frère du Duc de Normandie Richard 1er, qui fit bâtir cette forteresse. Selon les archives, la châtelaine fit trancher, à l’issue des travaux, la tête de Lanfred, l’architecte, « dans la crainte qu’il entreprît une pareille construction pour quel qu’autre Seigneur ».
La Tour d’Ivry fut érigée en pierres, un matériau non encore utilisé dans le nord de la France. Les constructions servant à se défendre, appelées les mottes, étaient jusque-là en terre et en bois.
La situation géographique du château, à la frontière franco-anglaise, est stratégique.
Durant les trois siècles et demi qui suivirent, les Français et les Anglais mirent à mal le pays et notamment la forteresse.
En 1119, le château est pris et incendié par Louis VI Le Gros.
Il est assiégé par les anglais, mais les français le reprennent 3 ans plus tard.
En 1424, le Duc de Bedford assiège le château, le gagne et le fait détruire.
Durant la bataille d'Ivry menée en 1590, Henri IV ne pourra pas apercevoir les ruines dissimulées dans la végétation.
En 1968, un groupe de bénévoles, sous la direction de Robert Baudet, entreprend le déblaiement des vestiges et ce pendant 12 ans.
En 1990, après de nombreuses et laborieuses démarches, le président du Club archéologique, adjoint au maire, réussit à faire classer aux Monuments Historiques « son » château. Ceci a permis d'effectuer des travaux de restauration, des chantiers de valorisation, des fouilles et d'avoir une meilleure connaissance de notre patrimoine.
De nos jours, le château est ouvert au public pour des visites libres.