Traversant le Vexin, la rivière Epte constitua dès 911 la frontière naturelle entre le royaume des Francs et le territoire concédé par Charles le Simple (898-923) aux Vikings de la Basse-Seine " en échange de la protection du royaume ", embryon du futur duché de Normandie. La vallée de ce petit affluent séquanien devint donc très vite un lieu stratégique majeur et se hérissa de part et d'autre d'une kyrielle de forteresses. Côté normand, les plus fameuses et les mieux conservées sont Gisors et Château-sur-Epte. Sur la rive française leur répondaient Trie, Courcelles, Saint-Clair-sur-Epte… Au confluent avec la Seine, Gasny (Eure) faisait face à La Roche-Guyon.

Les seigneurs de La Roche sont attestés dès la fin du XIe siècle et le château fut certainement érigé peu après. Suger, biographe de Louis VI le Gros (1108-1137), le décrit ainsi : " Sur un promontoire que forment dans un endroit de difficile accès les rives du grand fleuve de la Seine, est bâti un château sans noblesse, d'un aspect effrayant et que l'on nomme La Roche-Guyon. Invisible à sa surface, il est creusé dans une roche élevée. La main habile de celui qui le construisit a coupé sur le penchant de la montagne, et à l'aide d'une chétive et étroite ouverture, le rocher même, et formé sous terre une habitation d'une très vaste étendue. "

La Roche était donc alors un très original château troglodytique. A la fin du XIIe siècle fut bâti l'actuel noyau castral haut, composé de la tour à éperon et de ses chemises. Il était relié à la résidence située au pied de la falaise par un escalier creusé dans la roche. Cette résidence fut profondément modifiée au XIVe siècle et modernisée par les propriétaires successifs jusqu'à la Révolution. Un Gui VI de La Roche trouva la mort à Azincourt en 1415. Les Anglais s'emparèrent des lieux peu après et ce n'est qu'en 1449 qu'ils revinrent enfin dans le giron français. La place passera ensuite aux mains de différents lignages (de Silly, Plessis-Liancourt, La Rochefoucauld) et la seigneurie sera même érigée au rang de duché-pairie en 1621.