C’est sur un socle rocheux tourmenté que se dresse, sur un axe ouest-est, la forteresse de Penne. Un étroit chemin d’accès longeant son flanc sud, mène à la basse-cour et à la porte d’entrée du château. Celle-ci prend place entre une tour circulaire à archères (à niche et fente de tir à étrier triangulaire) et une énorme tour à éperon à plan en accolade. L’entrée donne dans un sas, placé entre une herse et deux paires de vantaux. Ce sas (remplaçant l’assommoir traditionnel) permettait le tir plongeant ou le jet de pierres depuis son chemin de ronde intérieur. À noter l’absence de pont-levis, chose rare dans ce type de fortification.

Dans le prolongement de la tour à éperon (flanc nord) se dresse le logis primitif – cathare - composé d’une tour et d’un corps de salles. Au XIVe siècle, baies romanes et balcon du logis (latrines ?) ont été condamnés au profit d’une grande fenêtre à meneaux. La cheminée (mur ouest) date également de cette période.

Sur l’autre flanc, après le logis des gardes (au rez-de-chaussée défensif percé d’archères) prend place le logis royal (grande salle sur cave). On y remarque les fenêtres à coussièges et les chapiteaux gothiques à crochets de la cheminée.

Le piton d’extrémité (à l’est) conserve une citerne surmontée d’une salle à archères, une tour circulaire venant l’épauler sur son flanc sud. La chapelle du château aurait pu prendre place à l’extrémité du promontoire sur le massif arc de décharge.