Talmont, fondation du duc d’Aquitaine (et comte de Poitou), apparaît dans les textes en 1025 ; son castrum lui, vers 1040-1046. C’est à Guillaume le Chauve, fidèle du duc, que l’on doit la première fortification (il en reste la motte au nord du château actuel) ainsi que son transfert, au milieu du XIe siècle, sur un rocher à l’embouchure du Payré. Il y bâti une haute muraille quadrangulaire enserrant l’église Sainte-Pierre -son clocher-porche servant de donjon- et une aula. Quelques années plus tard (entre 1050 et 1100), la tour-clocher est surélevée et une imposante tour d’escalier -la tour Gargalleau- y est accolée.

En 1138, Joscelin de Lezay, seigneur de Talmont, en opposition avec le roi de France, Louis VII, voit son château partir en fumée. Suger, à cette occasion, décrit Talmont « comme une forteresse inexpugnable dont les fossés étaient inondés par la marée ». Deux ans plus tard, les Mauléon sont mentionnés comme châtelains de Talmont. C’est à Raoul de Mauléon que Richard Cœur de Lion (Talmont est sous contrôle Plantagenêt depuis le milieu du XIIème siècle), vers 1180-1190, confie la fortification de la place. Trois tours viennent flanquer l’enceinte primitive. Le donjon est protégé par un éperon au nord et un mur-bouclier à l’est. Une enceinte intérieure, avec tour-assommoir, est bâtie créant ainsi une haute cour protégeant le donjon et les logis modernisés (cheminée et escalier) ; une enceinte extérieure avec tours de flanquement vient défendre l’enceinte primitive. Comme le précise M.P. Baudry, cette enceinte, presque entièrement arasée, est aujourd’hui difficile à dater ; l’attribuer à cette période n’est donc pas aisé.

Au XIVème siècle, le receveur des finances des vicomtes de Thouars, souhaitant vivre à mode du moment, se fait bâtir un nouveau logis.
Lors des guerres de religion, la forteresse sert de refuge aux protestants (1567). Occupée tour à tour par les deux parties en guerre, elle est définitivement reprise en 1587 par Henri de Navarre (le fur roi de France Henri IV). Il charge Giron de Bessay, quatre ans plus tard, de fortifier la place. La tenaille et le bastion du moulin en sont les vestiges.

En 1628, par crainte d’une invasion anglaise, Louis XIII ordonne le démantèlement du château.