Le refus des Gourdon de livrer le château originel aux troupes de Richard Cœur de Lion, comme il était convenu dans le traité de Gaillon, signé en 1196, provoqua sa destruction par les troupes anglaises à la toute fin du XIIème siècle. Quelques années plus tard, l’éperon rocheux qui surplombe le village accueillit donc un nouveau donjon qui se vit par la suite ceinturé d’un double mur d’enceinte renforcé de tours. A la fin du Moyen-âge, les temps étant devenus plus sûrs, la famille de Gourdon ayant perdu son influence, la seigneurie était morcelée et le château fut acquis par Jean d’Auriole, évêque de Montauban, qui l’agrémenta d’éléments de confort pour en faire une résidence. L’édifice faillit disparaitre au lendemain de la Révolution lorsqu’il fut vendu comme bien national et acquis par les particuliers pour servir de carrière de pierres. Le rachat par la commune en 1850 pour en faire le presbytère mit un terme à sa démolition.
Depuis 2001, les municipalités successives, épaulées par un groupe de bénévoles, s’emploient à le restaurer et à lui redonner un certain lustre. (source :
https://www.mairie-peyrilles.fr/decouvrir-peyrilles )