La première mention du " castrum de Autafort " remonte au IXe siècle. Il appartient alors aux vicomtes de Limoges. Au XIe siècle, un château s'élève à l'emplacement de la demeure actuelle. Son possesseur en est Gui de Lastours dit " le Noir ". Au siècle suivant, le mariage d'Agnès de Lastours à Constantin de Born le fait passer dans cette dernière famille. En cette fin de XIIe siècle, Bertran (le guerrier-troubadour) dispute les armes à la main le château à son frère Constantin. Par guerre ou par ruse, chacun le prend, le reprend, s'y maintient… En 1183, Richard Cœur de Lion, qui soutient Constantin, met le siège devant Hautefort et enlève la forteresse. Fait prisonnier puis gracié par Henri II Plantagenêt, Bertran la récupère et touche une somme d'argent pour la relever. Cette donation met fin à plus de dix ans de lutte fratricide.

Au début de la guerre de Cent Ans (1338-1453), le château est occupé par les Anglais.

A la fin du XVIe siècle, le marquis François de Hautefort entreprend de grands travaux qui vont transformer le château médiéval en une charmante demeure. Il fait édifier l'aile occidentale se terminant par la grosse tour ronde, dite " tour de Bretagne ". Cette aile est achevée en 1588.

A partir de 1640, son petit-fils, Jacques-François, poursuit les travaux. Il fait construire le corps de logis (élevé à partir de 1644) ainsi que les deux pavillons abritant les escaliers. En 1651, les travaux se poursuivent par la construction de l'aile orientale. Entre 1670 et 1673, une tour ronde faisant le pendant à la tour de Bretagne est édifiée. Enfin, entre 1675 et 1683, deux grands pavillons sont construits à l'arrière du corps de logis.

Grâce à la popularité de la famille de Hautefort, le château échappe à la tourmente révolutionnaire. Il sera néanmoins transformé en prison entre 1793 et 1795.

Délaissé par ses propriétaire jusqu'en 1834, le château est remis en état par Bertrand Artigues (à partir de 1890), puis par le baron et la baronne de Bastard (à partir de 1929). Malheureusement en août 1968, un incendie détruit le pavillon central et une nouvelle restauration va être nécessaire.