La présence romaine à Saint-Céré est attestée par la découverte, lors de fouilles archéologiques, d'armes, de monnaies, de tuiles, de sculptures datant de l'Antiquité. Un texte du XIIIe siècle en précise peut-être la date : " sous le règne d'Auguste (31 av. J.-C. - 14 apr. J.-C.) les troupes romaines avaient établi un camp au fort de Saint-Séré ".

Bien que l'histoire de sainte Spérie révèle que le repaire où elle naquit appartenait au VIIIe siècle à un seigneur nommé Serenus, ce n'est que deux siècle plus tard que le premier seigneur reconnu apparaît : en 901, Géraud comte d'Aurillac assiége et prend le château de son vassal Arlaldus, seigneur de Saint-Séré (Sanctus Serenus).

Guillaume VI, comte d'Auvergne, cède la châtellenie de Saint-Séré à Raimon II, vicomte de Turenne, en 1178. La même année, ce dernier confisque la terre de Saint-Séré à Bertrand, Bernard, Giral, Hugues et Rigal, co-seigneurs de la place. Afin d'imposer sa puissance dans le sud de la vicomté, il fait édifier la tour sud.

Raimon VI, après avoir rendu l'hommage au roi de France -Louis IX- en 1245 pour ses châteaux de Turenne et de Saint-Séré, doit reconnaître en 1263 le roi d'Angleterre comme suzerain. Bien que désormais vassal de ce dernier, le vicomte de Turenne obtient du roi de France la validation de franchises pour la châtellenie de Saint-Séré vers 1280-1290.

La bienveillance des deux suzerains épargne Saint-Séré des premiers tumultes de la guerre de Cent Ans, mais lorsque le château échoit à Renaud IV, sire de Pons et ennemi juré des Anglais, les choses changent. Ainsi, de 1384 à 1390, le château est occupé par Ramonet del Sort et Nolinbarbe (ou Nolibarba), routiers à la solde des Anglais.

Au départ de ces derniers, le vicomte de Turenne, Guillaume Roger de Beaufort, qui ne retrouvera ses pleins droits sur Saint-Séré qu'en 1427, fait construire le second donjon (au nord du site).

En 1575 durant les guerres de Religion, après un siège avorté l'année précédente, les protestants s'emparent du château qu'ils occupent jusqu'en 1586, date à laquelle ils en seront chassés par le duc de Mayenne.

Henri de la Tour, vicomte de Turenne et huguenot forcené, met en état de défense ses places fortes (dont Saint-Céré) en 1602. Aussitôt les troupes royales écrasent la révolte. Son fils Frédéric-Maurice continue la lutte et les troupes royales s'emparent de nouveau du château en 1641.

Au XVIIIe et XIXe siècle, le château ruiné change de mains à plusieurs reprises (le roi de France en 1738, le duc de Noailles en 1748, Guillaume Vernéjoul -adjoint au maire- en 1806, Lafon du Verdier en 1895, ce dernier faisant bâtir le manoir néo-médiéval sur les bases du logis primitif) pour arriver en 1945 entre les mains de Jean Lurçat (maître-rénovateur de la tapisserie française). Depuis 1988, le château est devenu l'atelier musée de cette artiste.