Bertrand de Got est issu d'une riche famille gasconne. Elle compte plusieurs membres illustres dans le haut clergé. Son oncle, également appelé Bertrand de Got, occupe le siège épiscopal d'Agen. L'un de ses frères, Béraud de Got, est cardinal.

Les sens politique et diplomatique de Bertrand lui permettent de gravir un à un les degrés de la hiérarchie ecclésiastique. Evêque de Comminges (1295), archevêque de Bordeaux (1299), il accède à la fonction suprême sous le nom de Clément V à la mort de Benoît XI, en 1305. Il décide la construction de Villandraut peu après et le chantier avance rapidement. Clément y séjourne dès 1307 ou 1308. Pratiquant sans beaucoup de retenue un népotisme ostensible, il fournit à plusieurs de ses proches diverses prébendes, ainsi que les moyens de se bâtir des forteresses somptueuses, telles Roquetaillade, Budos ou Duras. Elles présentent toutes un cousinage patent, laissant deviner le recours à des maîtres d'œuvres identiques ou employant les mêmes plans.

Le château connaît son principal épisode militaire durant les guerres de Religion. Il subit un difficile siège en 1592. A cette occasion est détruite la tour de l'angle sud-ouest.