A la fin du 13e siècle, Cessac est en possession d'Arnal II, lieutenant du Sénéchal de Quercy (décédé en 1304-1305), fils d'Arnal I et de Sébélie de Jean, et frère d'Hélène, mère de Jean XXII. Son fils, Raimond, semble le constructeur, sans doute dans les années 1330, du château de Cessac.
Durant la guerre de Cent ans, la valeur stratégique du château et sa proximité de Cahors lui valurent de jouer un rôle important. Entre 1360 et 1424, Cessac fut occupé à deux reprises par les Anglais en dépit des efforts que les habitants de Cahors semblent avoir prodigués pour s'assurer du contrôle de ce point fort. En 1383, les consuls exhortaient Arnal III Béral à faire bonne garde dans son château de Cessac. La décision de raser la forteresse fut prise finalement par les consuls de Cahors en 1424.
Sans postérité, Jean de Béral laissa Cessac en1443 à son cousin Raimond de Cazillac, à charge de reprendre le nom et armes de Béral. Jusqu'à la fin du 15e siècle, les Cazillac-Cessac ne résidèrent plus en Quercy, mais à Milhars en Albigeois. En 1498, le mariage de Gilles de Cazillac-Cessac avec Marguerite de Luzech, fille de Jean et d'Isabelle de Roquefeuil, semble les avoir rapprochés de Cessac où d'importants travaux de réfection furent réalisés vers cette époque, semble-t-il. Le logis lui-même n'avait donc pas été détruit en 1424, et les marques de travaux ultérieurs indiquent qu'il est resté habitable encore longtemps.
Source : atrimoines.laregion.fr