A l’époque gallo-romaine, Jumilhac est un domaine agricole appartenant à un certain Gemilius (Gemili Actum). Au Ve siècle (472), les Wisigoths, gagnant le nord de l’Aquitaine, s’emparent du village fortifié nommé Gemiliaco. En 508, les francs y rebâtissent une place forte qui sera pillée et détruite par les Vikings en 846.

Trois siècle plus tard (1152) Jumiliaco est bâti de nouveau et devient une place fort convoitée lors du premier conflit franco-anglais. Philippe Auguste, au début du XIIIe siècle, s’en empare et la détruit. Durant ce même siècle (1258), un texte mentionne que la seigneurie de Jumilhac est entre les mains de trois familles : les La Porte, les Bruchard et les Tessières (cette dernière « disparaissant » au XIVe siècle). Les deux premières vont y posséder un repaire (pour la définition voir Echizadour). Lors de la guerre de Cent Ans, Du Guesclin assiège la Bruchardie et en chasse les troupes anglaises (1370).

Dans le dernier quart du XVIe siècle, Antoine Chapelle, riche maître de forges, épouse Marguerite de Vars, héritière d’une partie de Jumilhac. Il reçoit de ses beaux-parents en 1579-1580 la Bruchardie et achète, en juin 1581, les droits des La Porte. Il en rend hommage à son suzerain, le comte de Périgord, Henri de Bourbon (Henri III de Navarre). Ce dernier, devenu roi de France, en remerciement de l’aide financière apportée lors des troubles de la Ligue, l’élève au rang de comte de Jumilhac (1597). Pour marquer ce nouveau statut, Antoine Chapelle fait agrandir la Bruchardie et la dote de ses magnifiques toitures.

Son petit-fils, François, entre 1655 et 1675, ajoute les deux ailes et les jardins en terrasse. A La Révolution, l’installation dans ses murs de la Municipalité et de la Société Populaire le sauve de la destruction.