L’ancien « Monasterii Villare », qui a donné son nom à la ville est fondé en 684 par Saint Philibert, abbé de Jumièges.

Il choisit un site dans la vallée de la Lézarde pour y bâtir un monastère de femmes selon la règle bénédictine.

L’abbaye jouit d’un privilège extraordinaire conféré par la charte d’exemption de 1035. Ce document donne toute autorité à l’Abbesse sur 16 paroisses et 15 chapelles soit plusieurs villages, des terres, des moulins mais également le port d’Harfleur.

Les revenus ainsi octroyés permettent à l’abbaye de prospérer au fil des siècles.

La Révolution met un terme à la vie monastique.
Les moniales quittent le monastère et les bâtiments sont dévolus à d’autres activités avant d’être divisés.

L’abbaye se fond alors dans la ville.