Sur les collines entourant Lastours, des indices archéologiques (fragments de silex et de céramique) attestent d'une occupation du site vers le chalcolithique (2 000 ans av. J.-C.). Deux enceintes, l'une dite celtique, l'autre nommée camp romain, démontrent que cette occupation s'est poursuivie jusqu'à l'âge du fer.

Si le premier Lastours-Gouffier apparaît vers 950 dans la Chronique de Geoffroy de Vigeois (rédigée à la fin du XIIe siècle), le père fondateur du lignage, vers l'an mil, est Gui de Lastours, dit " le Noir ". Les trois châteaux (mottes de terre surmontées de tours en bois) implantés dans la " cuvette " de Lastours, ont dû être édifiés à partir de cette date.

C'est dans les dernières années du XIIe siècle ou dans la première décennie du XIIIe siècle, que la tour principale quitte sa motte (subsistant encore aujourd'hui au centre du village) pour s'implanter au nord-est de la plaine. Ce transfert est sans doute l'œuvre de Golfier de Lastours (?-1210), petit-fils du fameux Gouffier le Grand, surnommé le Chevalier au Lion et héros de la première croisade (sièges de Nicée, d'Antioche et de Marrah). A la mort de Golfier, le château passe entre les mains des descendants de Gérald, frère de Gouffier le Grand, et Lastours devient une co-seigneurie (les Lastours, les Jaubert, les Faucher, les Peyrusse des Cars -après 1354- se la partagent).

Par son mariage, vers 1290, Agnès de Lastours apporte le château en dot à Guy de Champagne. En 1354, Gouffier, frère d'Agnès, nomme comme héritier principal son neveu, Geoffroi de Champagne, à condition qu'il reprenne le nom, la bannière et les armes de Lastours. Un " Lastours " redevient donc ainsi symboliquement maître du château.

A la fin de la guerre de Cent Ans, le château a subi de tels dommages qu'une reconstruction s'impose. Vers 1480, une première phase est lancée. Le donjon roman, fortement endommagé, est rebâti à l'identique et le logis sud-ouest, avec sa tour en forme de fer à cheval, s'élève sur les fondations du logis du XIIIe siècle. Cette première tranche de travaux est à mettre au crédit du baron Jean de Lastours, conseiller et chambellan de Charles VIII. Jean épouse, dans le troisième quart du XVe siècle, Marguerite de Peyrusse des Cars et permet ainsi à la baronnie de Lastours de se réunifier partiellement : seuls les Faucher restent encore co-seigneurs jusqu'à la fin du XVe siècle. Vers 1500, Jean entame une seconde phase de travaux. Il fait édifier la courtine d'entrée et la tour de la chapelle, au sud, ainsi que l'éperon et la tour ronde protégeant le donjon, à l'est. Le 08 janvier 1529, Henri II de Navarre, duc d'Albret, est reçu au château. Vers 1530, une dernière grande campagne de travaux dote le château, au nord, d'un vaste logis encadré par deux grosses tours circulaires. Ce bâtiment est l'œuvre du fils de Jean : Galiot de Lastours, sénéchal et gouverneur du Limousin.

En mai 1591, Jeanne, arrière petite fille de Galiot, apporte par mariage la baronnie de Lastours à Gabriel d'Abzac, marquis de la Douze. Charlotte d'Abzac de la Douze, elle aussi par mariage en date du 09 février 1660, transmet le château à François de David, seigneur de Ventaux, Champvert et la Borie. La famille de David le gardera jusqu'en 1783, date à laquelle le comte des Cars s'en porte acquéreur. En 1789, le château est confisqué et les révolutionnaires en ordonnent la destruction par arrêté du 28 décembre 1793.

Pendant plus de 150 ans, les hommes, les intempéries et la végétation, poursuivent leur œuvre destructrice. Mais en 1978, l'association "les amis de Lastours", qui deviendra plus tard l'ASPEL, l'extirpe de l'oubli. Débroussaillage, déblaiement, restauration et animation lui donnent alors une seconde vie.