Le château se situe sur un escarpement surplombant la vallée du Lot.
Le château de Cadrieu est la propriété des seigneurs de Cadrieu, qui semblent remonter jusqu'au XIIIe siècle, avec Hugues de Cadrieu, qui a été nommé chevalier en 1292. En 1504, il est mentionné qu'Antoine de Cadrieu est seigneur de Cadrieu, et donc propriétaire du site du château. Les Cadrieu étaient originellement seigneurs du lieu conjointement avec les seigneurs de Corn, et gardent la propriété du lieu jusqu'au XVIIIe siècle, lorsque la seigneurie passe par alliance aux seigneurs de Lostanges. Pendant la guerre de Cent Ans, le château subit des attaques des Anglais, en 1390, mais parvient à résister.
La tour pourrait possiblement dater du XIVe siècle, tandis que le rez-de-chaussée du logis principal semble dater du XVIe siècle. L'aspect actuel semble avoir pris forme après une campagne de travaux du XVIIe siècle.
À un certain point, une partie du domaine du château est démoli pour faire place à une route et un chemin de fer.
Depuis 2019, le festival de musique local « Madistan festival » a lieu sur le site du château (source : Wikipedia).

• Grande région

  Occitanie (76)

• Ancienne région

  Midi-Pyrénées (73)

• Département

  Lot (46)

• Commune

  Cadrieu (46041)

• Coordonnées

  44.49286,1.88317

Système	Datum	notation	Definition	coordonnées X	coordonnées Y
Lambert 93	RGF93	D.d	EPSG:2154	6377717	611200
Lambert II+	NTF	D.d	EPSG:27572	1943646	563913
UTM Nord fuseau 31	WGS84	D.d	EPSG:32631	4927223	411203
Lambert III	NTF	D.d	EPSG:27573	3243750	563941
Peuso-mercator	WGS84	D.d	EPSG:3785	5542033	209633
Latitude Longitude	WGS84	DMS	EPSG:4326	44°29'34.3"	1°52'59.401"
Latitude Longitude	WGS84	D.d	EPSG:4326	44.492861	1.883167