Le château de " Calvus Mons " (Mont Chauve) est fondé à la fin du Xe par le comte de Blois Eudes Ier, afin d'interdire la route de sa capitale à son ennemi Foulques III Nerra, comte d'Anjou. Confié vers 1026 à la garde d'un nommé Gilduin, il fait l'objet de nombreux aménagements : une tour de pierre existe sans doute dès cette époque. Le site passe par mariage dans le patrimoine de la famille d'Amboise au milieu du XIe siècle. Il y demeurera cinq cents ans durant. Louis XI ravage la forteresse en 1465 pour punir le ralliement des Amboise à la ligue du Bien Public. Le roi pardonne quatre ans plus tard et fournit même une partie des fonds nécessaires à la reconstruction de Chaumont. Catherine de Médicis l'achète en 1560 et contraint Diane de Poitiers, maîtresse de feu son époux le roi Henri II, à l'échanger contre Chenonceau. Diane complète et embellit le château jusqu'à sa mort (1566).

Chaumont passe alors de mains en mains : Henri de la Tour d'Auvergne, Scipion Sardini (banquier italien), Paul de Beauvillier comptent au nombre de ses propriétaires. Au milieu du XVIIIe siècle, afin d'ouvrir une terrasse sur la Loire, Donatien Le Ray fait abattre l'aile nord du XVe siècle. Le château échappe par miracle à la fureur révolutionnaire, mais subit durant tout le XIXe siècle les caprices de ses possesseurs successifs. Il appartient à l'Etat depuis 1938.