Le palais, élément notable du site, fut édifié sur l'initiative de Giraud Adhémar dans le courant du XIIe, probablement avant 1164, date à laquelle l'Empereur du Saint-Empire Romain Germanique s'arrête à Montélimar après son couronnement comme roi d'Arles. Les fils de Giraud se partagent le site de Montélimar : Giraud, l'aîné, garde le château construit par son père tandis que Lambert, le puîné, fonde la branche des Adhémar de La Garde et prend ses quartiers dans un établissement voisin dont ne subsiste plus que la tour dite de Narbonne. Les relations entre frères ne sont pas toujours cordiales, comme en témoigne l'épisode de la croisade contre les Albigeois, durant laquelle chacun embrasse la cause d'un des partis. Dans le courant du XIIIe siècle, Giraud prête en effet allégeance au comte de Toulouse, tandis que Lambert se rallie à Simon de Montfort. Ces choix politiques auront des répercussions architecturales importantes.