Chaumont dessine un carré, autrefois flanqué sur trois de ses angles de grosses tours cylindriques. Ne demeurent plus aujourd'hui que les tours nord-est et sud-ouest. Cette dernière (Tour d'Amboise) avec ses beaux mâchicoulis ornés de fin motifs trilobés, rappelle d'autres constructions à peu près contemporaines : Langeais, Durtal, le Plessis-Bourré (seconde moitié du XVe siècle). Le corps de logis occidental est le plus ancien et témoigne d'une grande sobriété extérieure. Les fenêtres n'y furent percées que tardivement.

On pénètre dans la place par une tour-porte rectangulaire (avec pont-levis charretier et piétonnier) ménagée dans l'angle sud-est, entourée de deux gros cylindres fortement saillants. Il est intéressant de noter que ces deux édifices furent couronnés de mâchicoulis sous Diane de Poitiers (1562-1566), à une époque donc où ce genre d'attributs n'avait plus aucune fonctionnalité militaire. L'explication tient dans la symbolique des mâchicoulis, tours et autres créneaux qui, au milieu du XVIe siècle encore, attestent de la puissance du propriétaire du lieu.

Trois corps de logis s'articulent autour d'une cour. Elle était autrefois complètement fermée, mais le bâtiment nord fut détruit au XVIIIe siècle. Les ailes méridionales et orientales portent les marques de la Renaissance, alors que la façade occidentale conserve l'aspect un peu rude des dernières constructions médiévales.

Chacun des possesseurs de Chaumont a souhaité laisser son empreinte dans la pierre et l'enchevêtrement des styles empêche parfois de dater certains éléments avec précision. De l'ensemble toutefois, émane une impression de grâce et de légèreté. Incontestablement l'un des plus beaux et des plus attachants châteaux du Val de Loire.