La vicomté de Rochechouart est créée au tout début du XIème siècle, au profit d’un fils cadet du vicomte de Limoges : Aymeric Ostofranc. Le castrum de Roca Cavardi s’installe donc à la pointe d’un éperon rocheux (roca) en surplomb d’un habitat gallo-romain ayant appartenu à un certain Cavardus.

Pendant trois siècles, la place se transmet de père en fils, les Aymeric succédant aux Aymeric... Au milieu du XIIIème siècle (1262) le vicomte doit rappeler à l’ordre les chevaliers habitant dans l’enceinte du castrum ; ces derniers ayant pris quelques libertés avec le système défensif de la place, pour passer aisément de leur hôtel à leur jardin ou verger : « toute ouverture sur le mur d’enceinte devra être fermée par une grille pour empêcher le passage d’un homme». De même, il interdit à Géraud de Maulmont, bâtisseur de Châlucet de construire « tourelles, tours ou château sur les parcelles de l’enclos castral ».

Lors de la guerre de Cent Ans, la place résiste longtemps aux anglais avant de tomber entre leurs mains. Du Guesclin, lors de la reconquête du Sud Ouest, entre 1369 et 1380, la rendra aux français.
Au décès de son beau-père en 1473, Jean de Pontville, époux d’Anne de Rochechouart, devient vicomte. Lui et son fils -François- bâtissent entre 1490 et 1512, le château que nous connaissons aujourd’hui. Il conserve néanmoins la tour en amande (du XIIIème siècle) ainsi que la base de la tour d’artillerie (bâtie vers 1470-1480).

Au XVIIIème siècle (entre 1760 et 1769) François Honorine et son épouse financent des réparations et des travaux d’embellissement (second étage de la galerie orientale, terrasses et perrons).
En 1836, le département de la Haute-Vienne achète le château. Il le restaure une vingtaine d’années plus tard pour y installer la sous-préfecture, la mairie et le tribunal. En 1985, le château accueille le musée départemental d’art contemporain.