Vers 885, Saint-Vérain, qui à l’époque s’appelle Rond le Fort (ou Romfort), accueille les reliques du saint provençal éponyme. Le nom de la place et le fait qu’elle serve de refuge laissent à penser que le site est déjà fortifié au IXe siècle.

Bien qu’un certain Gibaud soit attesté vers l’an Mil, ce n’est que sous Gibaud II, en 1107, que la seigneurie de Saint-Vérain est mentionnée pour la première fois. Vassaux des évêques d’Auxerre, ces seigneurs ne sont pas moins alliés à la famille de Donzy, seigneur d’Alluyes et comte de Nevers. Cette alliance va faire leur richesse et leur permettre de construire, durant la seconde moitié du XIIe siècle, l’ensemble castral (donjon, logis et chapelle) puis, dans la première moitié du siècle suivant, de renforcer cet ensemble et de bâtir l’enceinte urbaine.

Lors de la guerre de Cent Ans, les troupes anglaises « traversent » la région à plusieurs reprises (1356, 1367 et 1423). Saint-Vérain tombe aux mains du routier Perrinet Gressard, à la solde des Anglo-bourguignons, en 1434.

A la mort d’Hugues II d’Amboise en 1405, et après un procès long d’une soixantaine d’années, la seigneurie est partagée entre les quatre familles « héritières ». En 1483, puis 1489, le comte de Nevers, Jean de Bourgogne, fait entrer Saint-Vérain dans ses possessions.

Lors des guerres de Religion, en 1576, la place est saccagée par les troupes protestantes du prince de Condé. L’incendie de 1603 scelle son sort et la place forte devient carrière de pierres.