Le château est établi sur un long plateau rocheux (150 m x 100 m) dont les défenses naturelles étaient renforcées, au Moyen Age, par des terrains marécageux situés au sud et à l'est du plateau.

On y pénètre par le portail de la barbacane, située au centre du front ouest. Aujourd'hui très endommagé, il conserve dans son encadrement deux demi-colonnes, ornées d'ondes, semblables à celles du châtelet de Hautefort.

A main gauche se trouve le pavillon d'entrée, recomposé au XVIe siècle à partir d'édifices médiévaux. Il doit sans doute être identifié comme l'ancien " hostel noble de La Porte ", logis attaché à l'un des lignages de chevaliers connus depuis le XIIe siècle à Excideuil. Bien qu'hostel noble, il conserve ses attributs guerriers : pont-levis (reste les rainures), tourelles criblées de canonnières à mousquets, couronne de mâchicoulis. Dans son prolongement prennent place les communs du château. La grange, les écuries, étables et autres remises qui composaient cet ensemble reconstruit au XVIe et au XVIIIe siècle, ont été relancées sur des édifices antérieurs dont l'attribution au Moyen Age ne fait aucun doute. Gilles Séraphin et Christian Rémy en dénombrent six sur ce flanc sud-ouest (complétés par quatre autres, sur le flanc oriental).

L'ensemble de ce front est ceinturé par une ligne extérieure défensive constituée d'une fausse-braie et d'une lice. Son premier tronçon (construit vers 1250), percé de 8 archères à fente droite, s'accroche à une tour de flanquement semi-circulaire. Le second tronçon (construit vers 1270), percé de sept archères dotées d'un croisillon de visée, rejoint la barbacane.

Le logis du XVIe siècle, posé sur le flanc oriental du plateau, a presque totalement disparu à l'exception de son aile sud qui abritait une chapelle au rez-de-chaussée. Flanquée d'une tourelle d'escalier coiffée par une calotte de pierre, celle-ci affiche l'allure d'un véritable bastion avec ses canonnières ovales. Quatre travées de croisées et demi-croisées éclairent la chapelle et les appartements qui la surmontent. Les propriétaires actuels ont réalisé avec grand soin, à partir de 1975, d'importants travaux restituant une partie des volumes du logis.

Le donjon double domine la pointe nord-est du site. La tour nord, la plus grêle des deux, mesure 8,20 m de côté et 27 m de haut. Elle se compose de quatre niveaux planchéiés sous voûte sommitale en " arc de cloître ". L'accès à la tour s'effectuait au 1er étage (à 5,20 m de hauteur). Il est à noter que le 2ème étage disposait également d'une porte d'accès. Au 3ème étage, deux portes, disposées symétriquement dans le milieu des flancs nord-est et sud-est, donnaient sur deux galeries de charpentes en encorbellement. Plusieurs trous de boulins surmontés de corbeaux et d'un larmier attestent de ce hourdage.

La tour sud, établie à 8 m environ de la première, est dénommée " tour anglaise " ou " grosse tour ". Plus massive (9,60 m de côté), elle conserve le même schéma de distribution que la tour nord (accès au 1er étage, galerie de charpentes en encorbellement, voûte sommitale en " arc de cloître ", escalier intra mural conduisant à la terrasse sommitale).

L'exacte similitude des deux tours laisse à penser qu'elles sont contemporaines, celle du nord ayant une légère antériorité (le matériau de cette dernière se retrouvant dans les soubassements de la tour sud).

La " courtine " reliant ces deux donjons est à l'origine le pignon ouest de la grande salle du " pavilhon vieux " cité en 1766. Sa base conserve une porte basse surmontée d'une porte haute et d'une grande fenêtre à coussiège. Des trous de boulin ainsi qu'un larmier laissent à penser que ces ouvertures donnaient sur un large balcon couvert. Ce bâtiment (approximativement carré, d'un étage -aula- sur rez-de-chaussée, sous un haut comble à deux pentes) a fait l'objet d'une surélévation de près de 8 m. Un élément de charpente noyé dans le mur témoigne de l'apport d'un étage de combles supplémentaire.