Selon le manuscrit « Vita Beati Gaufredi » (rédigé vers 1150), Geoffroi -saint fondateur du prieuré- à la recherche d’un ermitage, s’installe sur l‘éperon du Chalard en janvier 1088. Adhémar, vicomte de Limoges, lui en fait don sept mois plus tard. Dans son étude, Xavier Lhermite précise cet écrit et propose une installation sur le site de Mongiaux (commune de Jumilhac le Grand) puis un transfert au Chalard.

La présence sur cet éperon d’un ensemble fortifié (oppidum ou site castral du Haut Moyen Age), compte tenu de l’étymologie du nom Chalard (castellar) n’est pas impossible. Par contre, l’existence d’une église fondée en 801 et détruite en 846 par les vikings, ne relève que de la légende populaire.

Toujours selon « la Vie de Geoffroi », la construction de l’église débute en 1096. Elle est consacrée quatre ans plus tard (le 18 octobre). L’analyse du bâti révèle une datation un peu plus tardive : les chapiteaux du chevet datant du milieu du XIIe siècle, le clocher du dernier quart du XIIe siècle et les chapiteaux-frises de la nef de la seconde moitié du XIIIe siècle. Les bâtiments conventuels peuvent, eux aussi, être datés de cette même période (fin XIIe-milieu XIIIe siècle).

Durant la guerre de Cent Ans le prieuré est investi par des routiers anglais commandés par un certain Beauchamp. Ils s’y retranchent et pillent les environs pendant trois ans. C’est une armée de cinq cents hommes, menée par les seigneurs de Mareuil, Lastours et de Mortemart qui les déloge le 14 avril 1421. Après l’attaque l’église est fortement endommagée (disparition de la nef ?). L’ajout des consoles, couronnant le chevet et les absidioles de l’église, est communément associé à l’installation des routiers au Chalard. Compte tenu de la qualité de cette fortification, Xavier Lhermite rapproche plutôt cet aménagement à une phase de travaux datant de la fin du XVe siècle et du début du XVIe (fermeture du transept).

Au XIXe siècle, une partie des bâtiments conventuels est transformée en habitation bourgeoise. L’église en ruine fait l’objet d’une restauration d’urgence dans les années 1880.