L’ancien « Monasterii Villare », qui a donné son nom à la ville est fondé en 684 par Saint Philibert, abbé de Jumièges.

Il choisit un site dans la vallée de la Lézarde pour y bâtir un monastère de femmes selon la règle bénédictine.

L’Abbaye jouit d’un privilège extraordinaire conféré par la charte d’exemption de 1035. Ce document donne toute autorité à l’Abbesse sur 16 paroisses et 15 chapelles soit plusieurs villages, des terres, des moulins mais également le port d’Harfleur.

Les revenus ainsi octroyés permettent à l’Abbaye de prospérer au fil des siècles.

De grandes abbesses vont laisser leur empreinte dans l’histoire de l’Abbaye et de la ville : Citons Elisabeth qui relève l’abbaye après sa destruction par les vikings, Marguerite de Sargines fondatrice l’Hôtel-Dieu ou bien encore Madeleine Laurence Kadot de Sebbeville, reconnue pour sa bienveillance envers la communauté des religieuses et les habitants de la ville.

La plus célèbre est Louise de L’Hospital, abbesse de l’Abbaye Royale de Montivilliers de 1596 à 1643.  Grande réformatrice, elle restaure la stricte obéissance à la Règle bénédictine et redonne sa splendeur au monastère tout en œuvrant activement au bien de la population.

La Révolution met un terme à la vie monastique. Les moniales quittent le monastère et les bâtiments sont dévolus à d’autres activités avant d’être vendus.
Au XIXe siècle, un brasseur achète les bâtiments : la brasserie Bobée fera oubliée l’existence des religieuses en ces lieux. Puis l’ensemble est morcelé et à nouveau vendu au plus offrant. Les bâtiments deviennent des appartements d’habitation, le cloître disparu servant de cour commune.
L’Abbaye se fond alors dans la ville.