La construction de la Maison Carlier, aussi appelée le château, a été bizarrement attribuée à l'évêque de Cahors. Une de ses façades donne sur la place du Carrelier qui évoque le carral, le mâchefer en occitan. Ce nom rappel que Lherm était situé à proximité de mines de fer qui alimentait des moulines de fer ou des forges après la fin de la guerre de Cent Ans. Plus probablement, cette maison a été construite par des marchands.
Elle se compose de deux corps de bâtiment accolés. À la fin du XVe siècle deux marchands se partageaient la maison. Gabriel Torrelha, originaire de Figeac, et Guillaume Laur.
Le corps principal du bâtiment, au Nord, a été édifié au cours de la seconde moitié du XVe siècle. C'est un édifice de plan rectangulaire comprenant quatre niveaux, dont un pour la cave semi-enterrée.
Le corps de bâtiment sud, directement accosté au bâtiment précédent, a dû être construit à la fin du XVIe siècle ou au début du XVIIe siècle. Il a un plan légèrement trapézoïdal et il inclut côté Est une tourelle ronde dans laquelle se développe un escalier en vis. À partir des traces dans les maçonneries on peut supposer que des communications existaient alors entre les deux corps de logis (source : Wikipedia).
Pour une étude détaillée du monument :
http://patrimoines.midipyrenees.fr/fileadmin//DOC_LIE/IVR73/IA46ETUD/IA46100165_01.PDF