Avec la fin de la période médiévale, la noblesse souhaita loger dans des demeures moins austères, davantage ouvertes sur l'extérieur. A compter de 1519, la veuve du sire de Roquebrou, Jeanne de Balsac, se lança dans la réalisation d'un château conçu selon les normes de son temps, à l'emplacement d'une ancienne forteresse. Les travaux s'arrêtèrent en 1534, laissant l'œuvre inachevée. Seules deux ailes sur les quatre prévues initialement avaient été bâties.

Par héritage ou mariage, le domaine passa entre les mains de multiples branches de la famille, avant d'être acheté en 1771 par le comte de Plas de Tanes. A la Révolution, il fut sans succès mis à la vente au titre des biens nationaux et revint finalement à ses propriétaires à la Restauration.

Vendu en 1838, puis à nouveau en 1858, il échut alors à un marchand de biens qui s'employa à le dépecer, pour vendre les pièces les plus intéressantes dans les salles d'enchères parisiennes. Sculptures, cheminées, lucarnes furent ainsi dispersées sur toute la planète. En 1908, Montal rencontra son sauveur en la personne de Maurice Fenaille, homme d'affaire enrichi par ses activités pétrolières. Il employa sa fortune à racheter presque tous les éléments dispersés et à les replacer dans le château. Fenaille légua Montal à l'Etat en 1913, avec toutefois une clause d'usufruit pour lui et ses enfants. Montal devint un dépôt d'œuvres d'art durant la seconde guerre Mondiale. La Joconde y fut notamment conservée entre 1943 et 1945.