Une famille seigneuriale locale semble attestée des le Xe siècle, mais la forteresse n'apparaît avec certitude que dans le courant du XIIIe siècle. Certains éléments architecturaux laissent toutefois penser que la place pourrait remonter au XIIe siècle. Le château connaît son unique siège - vain d'ailleurs - en 1418 ou 1419. Le mariage de la dernière héritière du lignage originel, Antoinette, ajoute Rochebaron au patrimoine du sire Louis de Chalençon (1434). La place change ensuite de mains à plusieurs reprises. La famille de la Rochefoucault en est notamment propriétaire de 1650 à 1741. Ses membres n'y résident cependant guère et les bâtiments tombent lentement en ruine. Le site est totalement abandonné à la Révolution et son dernier détenteur guillotiné en 1793. Depuis 1987, une dynamique association s'occupe de la mise en valeur du site.

Construit en arkose, en granit et en briques, le château est composé de trois enceintes successives. On accède à la première par une porte percée entre deux tourelles avec canonnière. Un chemin longe une ferme reconstruite dans les années 1990 sur les substructions d'un édifice du XVIIe siècle. Elle abrite la billetterie et un intéressant petit musée consacré à l'histoire locale. La seconde enceinte, beaucoup moins vaste, épouse les contours de l'éminence rocheuse. On trouve aux angles nord et sud, du côté de l'attaque (ouest), deux tours rondes. Celle du nord ne possédait à l'évidence pas d'escalier et les étages étaient reliés par des échelles en bois. Celle du sud, avec ses latrines, n'était pas dépourvue de tout confort. Entre les deux s'élève une puissante tour triangulaire à éperon. L'entrée de la dernière enceinte est ménagée entre deux tours rondes à archères. Une herse barrait autrefois le passage. Autour de la haute cour à puits central (citerne) s'articulent les principaux bâtiments seigneuriaux : chapelle orientée (avec vraisemblablement une aula au premier étage desservie par un escalier dans une tourelle), cuisine et logis. Subsistent de nombreuses traces de cheminées ainsi que de belles portes et une magnifique fenêtre à meneau (niveau supérieur de la chapelle).

A noter également par endroit, au sommet des murailles, la présence de mâchicoulis.