Le site d'Albon doit sa création à la dynastie des Guigonides, qui apparaît dans le sud du Viennois vers la fin du Xe siècle. La première mention d'un castrum remonte à 1070, soit 9 ans avant que les Guigonides n'obtiennent le titre de comte. Entre le XIe et le XIIIe, Albon devient progressivement le centre d'un important territoire, qui constitue en fait le noyau primitif de ce qui prend le nom, à partir de 1239, de Dauphiné.

Si le site est occupé jusqu'au XVIe siècle, date de son abandon définitif, le château cesse d'être le lieu de résidence des comtes d'Albon, Dauphins de Viennois et Princes d'Empire, bien avant cela. Dans le courant du XIIIe siècle, Grenoble prend le pas sur Albon. Les dauphins se tournent également vers d'autres lieux de résidence, notamment Beauvoir-en-Royans (très apprécié) dès la fin du XIIIe.