Sur l'éperon surveillant la voie antique Poitiers-Bourges, un castellum, propriété de l'évêque de Poitiers, est mentionné dès l'an 1000. Les soubassements découverts dans le donjon baronnial et les deux murs retrouvés dans le donjon de Gouzon datent sans doute de cette époque.

Au XIIe siècle, les évêques font bâtir à la pointe de l'éperon, dans une vaste enceinte à contreforts, leur donjon (qui sera surélevé dans un second temps) et autorisent leurs vassaux à édifier leurs châteaux. Dans la seconde moitié de ce siècle, les Montléon (?) font construire le donjon carré de Gouzon. Celui-ci sera doublé en longueur et hauteur au siècle suivant, sans doute par les Beaumont, nouveaux détenteurs du fief. Hugues III de Châtellerault vers 1195-1204 fait surélever la tour primitive et bâtir l'enceinte castrale du château d'Harcourt. Oger fait bâtir le château de Montléon et les Ravenel (?) la tour de Flins.

Au siècle suivant, les fiefs passent dans de nouvelles familles qui donneront leur nom aux châteaux actuels. Jean II d'Harcourt en 1280 épouse Jeanne de Châtellerault. Guy II de Gouzon se marie avec Blanche de Beaumont en 1295. La même année, l'évêque de Poitiers, Gauthier de Bruges, rachète aux Montléon (détenteur du fief d'Oger) leur château chauvinois.

Durant la guerre de Cent Ans, Chauvigny et ses châteaux ne sont pas épargnés. En 1369 et 1412, les troupes anglaises prennent la ville et la ruinent. En 1372, Jean de Berry comte de Poitou et Bertrand du Guesclin, assiègent la place. Les châteaux de Gouzon (aux mains des évêques de Poitiers depuis 1335 ou 1346), de Montléon et d'Harcourt ouvrent rapidement leurs portes. Le château baronnial ne cède qu'après la prise de Poitiers.

Au XVe siècle, les châteaux se « modernisent ». La tour de Flins est transformée pour la rendre plus habitable (fenêtres et cheminée). L’évêque Ithier de Mareuil (ou Martreuil) vers 1400 se fait construire, dans l’enceinte agrandie et remaniée du château baronnial, un logement spacieux et confortable appelé « château neuf ». En 1447, Charles Ier d’Anjou cède le château d’Harcourt à l’évêque Guillaume de Charpagnes. On attribue à ce dernier les travaux d’agrandissement et d’embellissement de la tour.

Un siècle après la fin de la guerre de Cent Ans, les guerres de Religion cette fois meurtrissent de nouveau Chauvigny. En 1562, la ville, aux mains des huguenots, est attaquée par l’armée royale. Cette dernière s’empare du château baronnial après une vive résistance. En 1569, l’amiral de Coligny et ses troupes protestantes prennent la ville et brûlent le château. En 1590, les Ligueurs l’assiègent et la place ne tombe que sur ordre du roi Henri IV.

Dès le milieu du XVIIe siècle, les évêques cessent d’habiter leurs châteaux chauvinois. En 1687, un texte décrit celui de Gouzon comme « entièrement détruit sans charpente ni couverture ». En 1759, l’évêque fait démonter les restes des charpentes du château baronnial pour les remployer au château de Dissay. A la Révolution, les châteaux des évêques servent de carrières de pierre. Suite au « pillage », l’angle sud-est du donjon baronnial s’effondre et seul subsiste un pan de mur du château neuf. Montléon disparaît quasiment.

Afin de préserver ce patrimoine architectural unique, des campagnes de fouilles (1957-74 sur les deux châteaux des évêques, 1990 sur le donjon de Gouzon) et de restaurations (1938 et 1991-93 : donjon baronnial ; 1988-89 : château d’Harcourt ; 1992 : donjon de Gouzon, devenu espace d’archéologie industrielle) sont entreprises.