Un Adémar de Puy-Guilhem, écuyer de son état, apparaît dans les textes vers 1255. C'est peut-être de cette époque, ou de celles de Jacques Murant, seigneur de Bord, ou d'Alzias Flamenc, seigneur de Romain et de Bruzac, les plus anciens propriétaires connus du site de Puyguilhem, que remonte le premier édifice. Il n'en reste plus, sous le château actuel, que les caves et le souterrain.

Mondot de Lamarthonie, homme de confiance de François Ier, achète toutes les terres entre 1509 et 1512. C'est son frère Gaston qui achève, en 1524 (cette date figure sur la frise sommitale de la tourelle d'escalier), la première campagne de travaux au château. Celle-ci comprend, la grosse tour ronde, l'escalier polygonal, le corps de logis et le premier étage du pavillon d'honneur. La seconde campagne débute en 1527, pour s'achever en 1535. Elle porte sur le couronnement de la grosse tour, du corps de logis et sur l'achèvement du pavillon renfermant l'escalier d'honneur.

Au siècle suivant, en 1689, le château passe, par héritage, à Jacques François Chapt de Rastignac. Cette famille fera construire, au XVIIIe siècle, la petite aile sud-ouest. Par testament, le comte Pierre Marie Alfred de La Rochefoucault-Doudeville en hérite en mars 1877. Puyguilhem échoira, par la suite, entre les mains de notables de Villars.

C'est peu avant la Seconde Guerre Mondiale (15 mars 1939) que l'Etat exproprie le dernier propriétaire particulièrement négligent (les combles sont éventrés, les planchers effondrés, les ouvertures béantes) et entame, après plus d'un demi-siècle d'abandon, des travaux importants de restauration. Ils dureront deux décennies. Seront notamment réparés la toiture, quelques éléments architecturaux extérieurs, les sols et cheminées.