Cléry apparaît dans l'histoire vers 1280. Selon la légende, un paysan retournant son champ exhume de la terre une petite statue de la Vierge à l'Enfant en bois polychrome. L'homme veut la rapporter au curé de sa paroisse (Mézières-les-Cléry), mais les bœufs de son attelage prennent la direction opposée, et stoppent leur marche paisible et volontaire dans une petite clairière proche de la Loire.

Il n'en faut pas davantage pour que l'on crie au prodige. Un premier sanctuaire est édifié, à l'emplacement même où les bovidés obstinés se sont arrêtés. Il devient une étape incontournable sur la route des pèlerins de Compostelle. Quelques guérisons miraculeuses parachèvent la réputation de sainteté des lieux, et l'édifice primitif se montre vite trop restreint pour accueillir des foules. Dès 1300, Philippe IV le Bel décide de construire une église plus conforme au prestige grandissant de Cléry. Les travaux durent cinquante ans. Des chanoines assurent les offices. Charles IV le Bel en 1325, et Philippe VI de Valois en 1332 et 1340, viennent y adresser leurs prières.

Cléry échappe à la tourmente de la Guerre de Cent Ans jusqu'en 1428. A cette date, les Anglais commandés par le comte de Salisbury rasent la cité et brûlent la collégiale. Ces troupes vont assiéger la ville d'Orléans au mois d'octobre, et Salisbury y trouve la mort dès les premiers accrochages. Tous les auteurs français s'accordent pour lire dans l'incident une sanction divine " parce qu'il n'espargnoit monastères ne églises qu'il pillast et feist piller, puis qu'il peust entrer. Qui sont choses assez induisans à croyre que ses jours en furent abbregez par juste vengence de Dieu. Et en especial fut pillée Nostre Dame de Cléry et le bourg aussy pareillement. ". Jeanne d'Arc passe à proximité d'un monceau de ruine en 1429.

En 1443, le dauphin Louis (futur Louis XI), fils du roi Charles VII, vole au secours de Dieppe assiégée par les Anglais. La résistance britannique est très forte et Louis doute de la victoire. En la veille de la fête mariale (14 août), Jean de Dunois (le Bâtard d'Orléans), conseille au jeune prince d'adresser un vœu à la Vierge de Cléry. Louis lui répond : " Mon cousin, de quel costé est Nostre-Dame-de-Cléry ? Et lui ayant montré, il se prosterne à genou et fait vœu à la Saincte Vierge, si elle lui faisoit grâce de repousser l'ennemi, il feroit bastir une église et l'amplifiroit de grands honneurs en faveur de la contemplation de la Saincte Vierge qui y estoit réclamée. "

Sans doute là naît l'incroyable ferveur dont Louis fait preuve à l'égard de la Vierge, et plus particulièrement à Notre Dame de Cléry, sa vie durant. Les travaux de la nouvelle église démarrent en 1445 et ne seront achevés qu'en 1485. Cléry devient la nécropole des Dunois-Longueville et le dauphin Louis, devenu Louis XI (1461-1483), y effectue de nombreux séjour. Il s'y est fait aménager un petit oratoire depuis lequel il assiste sans être vu à la messe. Sa résidence est toute proche (aujourd'hui l'école privée Jeanne d'Arc) et un passage souterrain lui permet de gagner la sacristie sans passer par l'extérieur. A sa mort, en 1483, c'est là que le Valois veut reposer, refusant ainsi d'être inhumé, conformément à la tradition, aux côtés de ses aïeux à Saint-Denis. Son épouse, Charlotte de Savoie, l'y rejoint quelques mois plus tard. Leur fils Charles VIII (1483-1498) a décidé de donner son cœur au sanctuaire tant vénéré par son père.

Henri II offre de belles stalles en bois aux chanoines de Cléry. La ville et la collégiale sont pillées à deux reprises durant les Guerres de Religion, mais hormis le gisant de Louis XI, totalement détruit, l'église ne subit que peu de dégâts. Louis XIII commande un nouveau mausolée au sculpteur Bourdin en 1622. Les révolutionnaires se contentent de violer la sépulture de Charlotte de Savoie et de fondre son cercueil en plomb.