Villerouge apparaît dans les textes en 1107, année de rédaction de la bulle du pape Pascal II confirmant l'archevêque Richard dans ses possessions narbonnaises. Environ trois ans plus tard, une transaction entre l'archevêque et la famille de Termes nous renseigne sur la finalité de cette bulle : au décès de l'archevêque de Narbonne en 1070 ou 1079, Pierre, évêque de Rodez, usurpe le siège archiépiscopal. Il engage alors Villerouge à Pierre (ou Bérenger) de Peyrepertuse, qui le remet en dot à sa fille lors de son mariage avec Pierre-Olivier de Termes. Leur fils Olivier devra rendre le domaine indûment acquis.

Lors de la croisade albigeoise, un nouveau conflit oppose l'archevêque de Narbonne au seigneur de Termes, Alain de Roucy, vassal de Simon de Montfort. Le pape Honorius III presse en 1216 Simon de faire droit aux plaintes de l'archevêque.

Dans le troisième quart du XIIIe siècle, les archevêques font construire (ou adaptent) le château aux canons philippiens venus d'Ile-de-France. C'est sous ses murs que sera supplicié Guillaume Bélibaste, dernier parfait cathare connu du Languedoc, en 1321.

Au milieu du XVIIe siècle, les armes et munitions du château de Termes, en cours de démolition (d'avril 1653 à avril 1654), sont entreposées à Villerouge. On y trouve encore en 1725 six pièces d'artillerie.