On peut attribuer la construction du château de Fressac (donjon puis enceinte) aux Bermond, au début du XIIIe siècle. Pierre Bermond, seigneur d'Anduze et de Sauve est aux côtés de son suzerain, le comte de Toulouse, à Uzès en 1210.

Bien que le comte Raymond VII ait signé le traité de Paris en avril 1229 (rapprochement des terres occitanes du royaume de France), le seigneur d'Anduze et de Sauve poursuit la lutte contre les croisés venus du Nord. Battu, il est dépossédé de ses seigneuries d'Alès, d'Anduze, de Sauve et de Sommières. Fressac est confié à l'Hôpital de la ville du Puy-en-Velay qui le cède à l'évêque de la ville en 1307. Ce dernier le conserve jusqu'en 1539. Une cinquantaine d'années plus tard, Jean de la Nogarède renforce ses défenses et y installe une petite garnison huguenote.

Un siècle et demi après ces événements, pendant la guerre des camisards (soulèvement armé des protestants des Cévennes contre le pouvoir royal) le château sert de refuge à la population lors de l'attaque de la ville de Sauve, en décembre 1702.

Entre le XVIe siècle et le XIXe siècle, Fressac passe entre de nombreuses mains (familles de la Nogarède, Genas, de la Musnière de la Lamonie, de Cadolle, de Verdelhan). En 1992, la commune s'en porte acquéreur et l'association " Fressac le château " est créée pour sa sauvegarde.