Bien que le site d’Alluyes soit mentionné par Grégoire de Tours en 574 (Avallocum), il faut attendre le 05 février 978 pour voir apparaître un seigneur d’Alluyes (un certain Hugues est témoin d’une donation faite à l’abbaye de Saint-Père de Chartres). Dans la première moitié du siècle suivant, Guillaume Ier Goët (v.1025-1060) détient l’honneur d’Alluyes, possession de l’évêque de Chartres.

On peut très probablement attribuer à Hervé III de Donzy, comte de Nevers, au début du XIIIe siècle (après 1205) la mise en eau des fossés du château et de la basse-cour. Le détournement du cours du Loir, à cet effet, est relaté dans une charte datée de 1222, où figure pour la première fois la mention du château. La construction du donjon et du châtelet d’entrée peut être datée des années 1230, les parties hautes étant achevées entre 1240 et 1250 par Gaucher de Châtillon (petit-fils d’Hervé III).

Après sa construction, le château, par mariage ou donation, va passer entre de nombreuses mains : Charles de France, roi de Sicile dans la seconde moitié du XIIIe siècle (1268) ; les comtes de Bar (entre 1342 et 1418) ; Louis de Luxembourg, qui ayant épousé la cause anglaise en sera dépossédé au profit de Charles V d’Anjou (ce dernier y reçoit le roi Louis XI en 1463 et fait bénir la chapelle castrale Saint Nicolas en 1479) ; Jacques d’Armagnac, duc de Nemours et de Luxembourg (en 1481) ; Florimond Robertet (au début du XVIe siècle), baron d’Alluyes et de Brou et seigneur de Bury, secrétaire du roi et des finances sous Charles VIII, Louis XII et François Ier.