Bien qu’un seigneur de Castelnau soit mentionné dès 860, il faut attendre la fin du XIe siècle pour voir apparaître dans les textes la mention d’une fortification. En 1076, Hugues de Castelnau réalise des travaux au « castrum novum Brunichildis ». La place, dépendante du comté de Toulouse, reçoit en 1159 « la visite » d’Henri II Plantagenêt, venu mater son baron, Gerbert II.

Vingt-cinq ans plus tard, le comte de Toulouse transfère au vicomte de Turenne l’hommage qui lui est dû pour Castelnau. Ce transfert va déclencher pendant plus d’un quart de siècle de grandes tensions entre les deux seigneurs locaux. Bertrand de Castelnau se place même, en 1211, sous la protection de Philippe Auguste. Le conflit cesse en juin 1219, lorsque Maffre II accepte définitivement ce lien vassalique. C’est durant cette période que les bâtiments -tour-résidence dite « de l’Auditoire » et donjon- sont bâtis. Pascale Thibaut les date du XIIIe siècle et Jean Mesqui de la fin du XIIe pour la tour-résidence et du tout début du XIIIe pour le donjon.

La richesse apportée par mariage (1293) et héritage (1350) va permettre aux barons de Castelnau, au XIVe siècle, d’agrandir leur château. Une charte, signée en 1345 par Hugues III, fait d’ailleurs référence au renforcement de ses défenses. On y construit la tour-porte et ses logis annexes, le logis (abritant la chapelle) attenant à l’Auditoire. On rajoute un étage au donjon.

Au siècle suivant, le système défensif du château est de nouveau renforcé : construction de la tour d’artillerie dite « militaire », des fausses-braies, des tours sur la première enceinte -courtine nord- à la fin du siècle. Un nouveau logis est également érigé.

Le XVIe siècle voit une quatrième phase de construction au château : renforcement de la tour-porte avec rajout d’une barbacane et d’une tour supplémentaire (début du siècle), tour du nord-ouest, première enceinte avec tours d’artillerie et bastions (fin du siècle).

A la fin du XVIe siècle ou au début XVIIe, Alexandre de Castelnau-Clermont, baron de 1590 à 1621, transforme Castelnau en une luxueuse résidence. Balcon d’honneur, escalier à balustres, portiques à arcades, grandes baies perçant les murs, vont embellir l’austère château.

Durant la Révolution (décembre 1793), un commissaire de la République ordonne la démolition du pont-levis, des tours et le comblement des fossés. En janvier 1851, un incendie détruit, en grande partie, les logis du château. Il faudra attendre presque un demi-siècle (1896) pour que son nouveau propriétaire, le ténor Jean Mouliérat, tombé sous le charme du site, se lance dans son sauvetage. Il le lèguera à l’Etat en 1932.