Dominés par la silhouette du mont Ventoux, le château et le village ont une origine très ancienne. La crête montagneuse du site permet une défense aisée. Cela a incité l'ancien propriétaire des lieux, l'évêque de Vaison-la-Romaine, a venir s'y réfugier plusieurs fois, particulièrement aux XIIIe et XVIe siècles.