" Salmurum castrum " apparaît sans doute dans l'Histoire peu après le grand raid breton lancé par Nominoé sur la basse vallée de la Loire en 848. A cette occasion le monastère du Mont-Glonne (aujourd'hui Saint-Florent-le-Vieil, dans le Maine-et-Loire) fut entièrement dévasté. Les moines s'enfuirent avec les précieuses reliques de leur saint patron et vinrent trouver refuge derrière les remparts de Saumur, sur des terres spécialement concédées par le roi Charles II le Chauve (843-877). L'asile ne se révéla cependant que de courte durée : en 853, les Vikings cette fois remontèrent le cours du fleuve, saccagèrent Nantes, Angers, Tours et Saumur. Les religieux s'exilèrent alors à Tournus (Saône-et-Loire) en emmenant leurs ossements sacrés, espérant enfin trouver la quiétude nécessaire à leurs oraisons.

Les raids scandinaves cessèrent dans la première moitié du Xe siècle et les moines de Saint-Florent se rapprochèrent de leur foyer originel en s'installant pour la seconde fois à Saumur. Le comte de Blois Thibaud le Tricheur (mort en vers 977) leur offrit sa protection et construisit une nouvelle forteresse vers 970 au dessus d'un monastère Saint-Florent enfin restauré. Le château joua un rôle considérable dans la lutte que livrèrent ses successeurs Eudes I (mort en 995), Thibaut II (mort en 1004) et Eudes II (mort en 1037) contre le redoutable comte d'Anjou Foulques III Nerra (987-1040). En 1023 Eudes II de Blois-Champagne mobilisa une armée conséquente pour tenter d'enlever des mains des Angevins la place de Montboyau (Indre-et-Loire) située au nord de Tours. Le gardien de Saumur, un fidèle du comte de Blois nommé Gelduin, avait dégarni la citadelle de ses défenseurs afin d'aller grossir le contingent assiégeant Montboyau. Foulques profita de l'occasion pour cingler sur Saumur. Il enfonça les portes du château presque désert et s'en rendit facilement maître. Le gouverneur de la place fut aussitôt emprisonné et envoyé méditer à Doué sur l'absurdité de l'existence, pendant que certains de ses fidèles faisaient l'objet de tortures ou de mutilations. L'abbaye Saint-Florent subit encore une fois pillages et dévastations et fut emportée dans la tourmente. Foulques, étrange personnage qui alternait la cruauté la plus extrême avec des phases de repentir profondes et sincères, prit peur à l'idée d'avoir offensé le saint et d'encourir ainsi les foudres divines. Il s'engagea à reconstruire un autre monastère à Angers. " Saint Florent, se serait-il écrié, laisse brûler ton monastère ! Je t'en élèverai un bien plus beau dans ma ville d'Angers ! " Les reliques du saint entamèrent un ultime voyage qui s'arrêta cependant un peu en aval de Saumur, sur la berge sud du Thouet au confluent avec la Loire (aujourd'hui Saint-Hilaire-Saint-Florent). C'est là que s'installa définitivement la congrégation, richement dotée par la munificence du comte d'Anjou.

La forteresse fut incendiée en 1067 par le comte de Poitiers Gui-Geoffroi, lors du conflit qui opposa deux frères héritiers potentiels du comté d'Anjou : Geoffroi III le Barbu et Foulques IV le Réchin. La victoire de ce dernier en 1068 conduisit Geoffroi directement en geôle au château de Chinon. La forteresse de Saumur fut pour sa part restaurée entre 1068 et 1100 et sans doute pourvue à cette époque d'un gros donjon quadrangulaire aujourd'hui disparu. Sa trace se lit cependant encore sur le dallage de l'actuelle cour intérieure.

Saumur resta dans le patrimoine de la dynastie anglo-angevine (Plantagenêts) jusqu'à sa prise par le roi de France Philippe Auguste (1180-1223) en 1203. En 1246 la forteresse fut donnée en apanage avec l'Anjou à Charles (mort en 1285), frère du roi Louis IX (1226-1270), également comte de Provence et futur roi de Naples et de Sicile (1266), mais aussi roi honoraire de Jérusalem (1277). L'Anjou revint derechef à la couronne de France en 1328, avant d'être à nouveau concédé en apanage au frère du futur roi Charles V (1364-1380), Louis Ier d'Anjou (1356). C'est ce prince qui reconstruisit entièrement le château de Saumur à partir de 1367. A la mort du dernier descendant de cette troisième maison angevine, le fameux " Bon Roi René ", l'Anjou retournera pour la troisième fois dans le domaine royal (1480).

A la fin du XVIe siècle, Henri IV (1589-1610) confia le gouvernement de Saumur à un huguenot appelé Duplessis-Mornay. Le noyau castral fut alors entouré de remparts bastionnés, de demi-lunes et d'autres aménagements propres à résister au feu nourri de batteries de canons. Le départ de Duplessis en 1621 marqua le début du déclin de la forteresse et de son abandon progressif. Louis XIII (1610-1643) ordonna son démantèlement partiel et Napoléon Ier la transforma en prison d'état (1810). Achetée par la ville en 1906, elle fut progressivement réhabilitée et transformée en musée. Un ambitieux programme de restauration débuta en 1997, stoppé net par un cataclysme inattendu : le 22 avril 2001, un pan entier de la muraille nord s'effondra sur la ville en contrebas. Des études aussitôt menées par des architectes et des ingénieurs spécialisés, révélèrent un péril imminent pour tout l'édifice et la présence d'importantes cavités dans le sous-sol. Un énorme chantier destiné à sauver ce chef-d'œuvre de l'architecture castrale du XIVe siècle a alors débuté. La réouverture complète au public devra attendre la stabilisation totale du terrain et la sécurisation du site (fin des travaux prévue pour 2007).