Les fouilles archéologiques entreprises en 1992 au « Camp de César » ont démontré que l’exploitation agricole gallo-romaine présumée (interprétation des fouilles de 1924) était en fait un oppidum véliocasse du Ier siècle av. J.C., antérieur donc, ou contemporain de la conquête romaine. Des monnaies à l’effigie d’empereurs romains (Tibère, Auguste, Trajan…) découvertes in situ ou en centre ville, témoignent néanmoins d’une occupation romaine. Les découvertes, entre 1894 et 1952, d'une trentaine de sarcophages en pierre ou plâtre, attestent pour leur part d’une occupation mérovingienne de Vernon.

Sa position géographique aux confins des terres anglo-normandes, sur la route Paris-Rouen et sur un point de passage de la Seine, en fait très tôt une place ducale stratégique. Rollon, le « pyratorum dux » devenu comte de Rouen en 911, en serait le premier seigneur (vers 920). Deux siècles plus tard (vers 1123), Henri Ier Beauclerc y fait bâtir une « turris », c'est-à-dire probablement un donjon quadrangulaire du type Falaise. Dans la seconde moitié du siècle, Henri II Plantagenêt en renforce les défenses.

Vernon, verrou oriental de la Normandie, sera bien sûr convoité par les rois de France. Les troupes royales en font le siège en 1086, 1136, 1151-1154 et 1191. La dernière attaque, menée par Philippe Auguste, la fait passer dans le camp français. Comme dans les autres places majeures conquises, Philippe y fait bâtir (après 1196 et avant 1204) son donjon et y restaure l’enceinte urbaine. En 1204, la place sert de base arrière lors de la prise de Château Gaillard.

La paix revenue, Vernon devient une résidence fort appréciée des rois et reines de France : Blanche de Castille, son fils saint Louis, sa belle fille Marguerite de Provence, Louis X et son épouse Marguerite de Bourgogne, Blanche de Navarre, Isabeau de Bavière y résident.

Pendant la guerre de Cent Ans, les rois Philippe VI de Valois (en 1346) et Charles VI (en 1417) font réaliser d’importants travaux/réparations sur les fortifications urbaines. Malgré cela, la place tombe aux mains des Anglais le 3 février 1419. Ce n’est que le 30 août 1449 que Dunois la libèrera. Redevenue française, Louis XI (fin XVe) puis Henri IV (fin XVIe) y font de nombreux séjours. Louis XI, d’ailleurs, dans plusieurs lettres datées de septembre 1474, mentionne l’entretien « des tours, boulvers et murailles de Vernon ». En 1615, un projet d’agrandissement des boulevards est lancé « afin que lon ne puyse aprocher du pont levis pour le pétarder. »

Un procès verbal de visite, daté de 1719, décrit un château proche de la ruine. La création, en 1752, des écuries des Gardes Françaises va poursuivre sa destruction. En 1777, le duc de Penthièvre cède à la ville les « murs, remparts, tours, portes, fossées ». Cette vente scellera le sort de l’enceinte urbaine.

En 1870 et 1922, les fondations de la porte de Mantes (l’une des cinq portes d’accès à la ville) seront découvertes. En 1950, une portion de l’enceinte urbaine longeant le fleuve (près du pont) sera aussi retrouvée. La construction d’un centre culturel, en centre ville, va permettre aux archéologues, entre 1985 et 1986, de redécouvrir une partie du château médiéval.