La terre d'Anetum est mentionnée au début du XIIe siècle dans un cartulaire de l'abbaye Saint-Père-en-Vallée de Chartres. Philippe Auguste en détenait la forteresse vers 1207, au moment où fut compilée la liste de ses possessions connue sous le nom de Scripta de feodis (Registre des Fiefs). Propriété du roi de Navarre Charles le Mauvais, Anet fut entièrement détruit par Charles V en 1378. Charles VII donna la seigneurie à son compagnon d'arme Pierre de Brézé en 1444, pour services rendus dans la lutte contre les Anglais. Son fils Jacques y reconstruisit un manoir à compter de 1470. Mais Anet connut une destinée exceptionnelle grâce à la célèbre Diane de Poitiers.

Veuve de Louis de Brézé, cette femme remarquable prit très tôt un ascendant considérable sur le jeune prince Henri, second fils du couple François Ier - Claude de France. La légende place leur rencontre dans la galerie de Psyché du château d'Ecouen, sous les bons auspices du connétable Anne de Montmorency. Lorsque son frère aîné mourut, en 1536, Henri devint dauphin de la couronne de France. Il accéda au trône en 1547, et conserva, malgré son mariage avec Catherine de Médicis, la même passion à l'endroit de la belle Diane, pourtant âgée de 25 ans de plus que lui. Diane pesa lourdement sur la politique française durant toute la vie du monarque, et obtint des subsides importants afin de lancer les chantiers de Chenonceaux et d'Anet.

La mort accidentelle d'Henri II lors d'un tournoi à Paris en 1559, priva Diane de Poitiers son royal amant et la livra à la haine d'épouse bafouée que lui vouait Catherine de Médicis. La reine l'obligea à échanger Chenonceaux qu'elle aimait tant, contre Chaumont-sur-Loire. Diane se retira à Anet, où elle mourut en 1566. Son corps fut déposé en la chapelle castrale, sous un tombeau probablement achevé par Pierre Bontemps en 1577.

Le château passa aux Vendôme en 1615. Ils y firent de nombreux travaux, modifiant notamment les façades et supprimant la galerie entourant les jardins. A la Révolution, il était aux mains de Louis Jean-Marie de Bourbon. Ce prince aimé ne fut guère inquiété par la tourmente et acheva paisiblement son existence en mars 1793. Sa fille, Louise Marie-Adélaïde de Bourbon, épouse de Philippe Egalité (Louis-Philippe Joseph d'Orléans, père de Louis-Philippe et qui vota la peine de mort à l'encontre de Louis XVI) n'eut pas la même chance et monta sur l'échafaud en novembre 1793. Ses propriétés furent aussitôt confisquées et le tombeau de Diane de Poitiers subit des profanations.

Inscrit sur la liste des biens nationaux, Anet fut cédé aux sieurs Driancourt et Baudoin en 1798 pour la somme de 3 200 000 francs. Eux-mêmes le revendirent par morceaux à des banquiers peu scrupuleux : Ramsden et Herigoyen. Ces " brillants esthètes ", n'ayant rien à envier au " subtil " Jean-Baptiste Lefort de Jumièges, entamèrent la destruction du palais dès 1804. Les dévastations s'interrompirent en 1811, à la suite d'un litige survenu entre les contremaîtres et les ouvriers du chantier. Mais des dégâts irréparables avaient déjà été commis. La chapelle fut dotée d'une nouvelle façade en 1840. Les premiers travaux de restauration datent de cette époque.