Le château, bâti en granit sur un éperon barré, dessine un quadrilatère irrégulier cantonné aux angles de tours cylindriques et enserrant primitivement une petite cour. La tour du Maure, plantée dans l'angle nord-est, est la plus ancienne (XIIIe siècle) et fait office de donjon. Les trois autres (tour du Croisé, tour Sybil, tour du Chat) furent édifiées aux XIVe et XVe siècles. C'est dans la tour du Chat que Chateaubriand logeait enfant. Tours et courtines furent dotées de mâchicoulis au XVe siècle. On observe des mâchicoulis de type breton (en pyramide renversée) et des mâchicoulis classiques à degrés.

Chateaubriand et Combourg :

Mais c'est à François-René de Chateaubriand en personne que nous laissons le soin de présenter son domaine. Ainsi le découvrit-il pour la première fois, à l'occasion de vacances, en 1776 : " En sortant de l'obscurité du bois, nous franchîmes une avant-cour plantée de noyers, attenante au jardin et à la maison du régisseur ; de là, nous débouchâmes par une porte bâtie dans une cour de gazon, appelée la Cour Verte. A droite étaient de longues écuries et un bouquet de marronniers ; à gauche, un autre bouquet de marronniers. Au fond de la cour, dont le terrain s'élevait insensiblement, le château se montrait entre deux groupes d'arbres. Sa triste et sévère façade présentait une courtine portant une galerie à mâchicoulis, denticulée et couverte. Cette courtine liait ensemble deux tours inégales en âge, en matériaux, en hauteur et en grosseur, lesquelles tours se terminaient par des créneaux surmontés d'un toit pointu, comme un bonnet posé sur une couronne gothique.

Quelques fenêtres grillées apparaissaient çà et là sur la nudité des murs. Un large perron, raide et droit, de vingt-deux marches, sans rampes, sans garde-fou, remplaçait sur les fossés comblés l'ancien pont-levis ; il atteignait la porte du château, percée au milieu de la courtine. Au dessus de cette porte on voyait les armes des seigneurs de Combourg et les taillades à travers lesquelles sortaient jadis les bras et la chaîne du pont-levis. "

Le jeune homme fut relégué par son père dans l'une des tours du château, la plus isolée et reculée de toutes, appelée aujourd'hui tour du Chat. Dans ses Mémoires, il raconte que " les gens étaient persuadés qu'un certain comte de Combourg, à jambe de bois, mort depuis trois siècles, apparaissait à certaines époques, et qu'on l'avait rencontré dans le grand escalier de la tourelle ; sa jambe de bois se promenait aussi quelquefois seule avec un chat noir. " C'est donc avec la peur au ventre que l'enfant devait regagner seul ce qu'il nommait " mon donjon ". " La fenêtre de mon donjon s'ouvrait sur la cour intérieure ; le jour, j'avais en perspective les créneaux de la courtine opposée, où végétaient des scolopendres et croissait un prunier sauvage. Quelques martinets qui, durant l'été, s'enfonçaient en criant dans les trous des murs, étaient mes seuls compagnons. La nuit, je n'apercevais qu'un petit morceau de ciel et quelques étoiles. Lorsque la lune brillait et qu'elle s'abaissait à l'occident, j'en étais averti par ses rayons, qui venaient à mon lit au travers des carreaux losangés de la fenêtre. Des chouettes, voletant d'une tour à l'autre, passant et repassant entre la lune et moi, dessinaient sur mes rideaux l'ombre mobile de leurs ailes. Relégué dans l'endroit le plus désert, à l'ouverture des galeries, je ne perdais pas un murmure des ténèbres. Quelquefois, le vent semblait courir à pas légers ; quelquefois il laissait échapper des plaintes ; tout à coup, ma porte était ébranlée avec violence, les souterrains poussaient des mugissements, puis ces bruits expiraient pour recommencer encore. "

Chateaubriand quitta Combourg en 1786 et n'y revint qu'à quatre reprises. Lors de son dernier passage, en 1801, il découvrit un château emporté par la tourmente révolutionnaire : " Si mes ouvrages me survivent, si je dois laisser un nom, peut-être un jour, guidé par ces Mémoires, quelque voyageur viendra visiter les lieux que j'ai peints. Il pourra reconnaître le château ; mais il cherchera vainement le grand bois : le berceau de mes songes a disparu comme ces songes. Demeuré seul debout sur son rocher, l'antique donjon pleure les chênes, vieux compagnons qui l'environnaient et le protégeaient contre la tempête. Isolé comme lui, j'ai vu comme lui tomber autour de moi la famille qui embellissait mes jours et me prêtait son abri : heureusement ma vie n'est pas bâtie sur la terre aussi solidement que les tours où j'ai passé ma jeunesse, et l'homme résiste moins aux orages que les monuments élevés par ses mains. "