L'abbaye a été fondée à l'époque mérovingienne (VIe ou VIIe siècle) sans doute à proximité d'un ancien lieu de culte païen, par un certain Calminius, homme riche et influent (vénéré comme saint Calmin). La règle bénédictine y a été appliquée dès l'origine. L'établissement reçut au IXe siècle les reliques de saint Austremoine, évangélisateur de l'Auvergne au IIIe ou IVe siècle, jusque là conservées à Volvic. Cette translation semble avoir eu lieu par la volonté du roi d'Aquitaine Pépin II (839-852) vers 848.

A l'époque où le pape Urbain II prêchait la croisade contre les infidèles à Clermont (1095), on constatait un relâchement grave de la discipline dans le monastère. La même année, l'abbaye fut affiliée à l'ordre de Cluny à l'instigation de l'évêque Durand de Clermont et du comte Robert d'Auvergne. Mozac bénéficia longtemps de la protection capétienne. Des actes des rois Philippe Ier (1060-1108), Louis VII le Jeune (1137-1180) ou Philippe Auguste (1180-1223) témoignent de l'intérêt que lui portaient les rois de France.

L'établissement atteignit son apogée au XIIe siècle, symbolisé par la construction d'un vaste sanctuaire roman. Mais l'édifice ne survécut que partiellement à une série de tremblements de terre enregistrés en Auvergne au XVe siècle (1476, 1478 et 1490). Certaines parties préromanes ou romanes subsistèrent, mais l'essentiel de l'édifice et des bâtiments conventuels fut reconstruit dans le style gothique. Les travaux semblent avoir été impulsés par l'abbé de Raymond de Marcenat, mais les bornes chronologiques de son abbatiat (1459-1470) correspondent difficilement avec les dates des tremblements de terre connus dans la région (1437, 1476, 1478 et 1490). Une représentation de l'abbaye dans le fameux Armorial d'Auvergne de Guillaume Revel (vers 1450), laisse penser qu'elle était encore intacte au milieu du XVe siècle. Il est possible que le cataclysme de 1437 ait fragilisé la structure et que tout se soit effondré après 1450.

A la Renaissance, la très riche abbaye (jusqu'à une quarantaine de prieurés, de paroisses ou de domaines divers sous sa domination) fut soumise au régime de la commende. La réforme mauriste y fut introduite au XVIIe siècle. Au moment de la Révolution, seule une poignée de moines vivait encore une existence confortable derrière les anciens murs. La congrégation fut dissoute en 1790. L'abbatiale devint l'église paroissiale et les bâtiments conventuels furent partiellement vendus comme Biens Publics. Le cloître disparut à cette époque. Le reste demeura propriété de la commune.