Au centre du village, l'édifice se compose d'une haute tour et d'un corps de logis séparés de quelques mètres. La tour a 2,90 m de côté et des murs épais d'1,20 m, et deux niveaux couverts en berceau. C'est un donjon pratiquement aveugle, dont les niveaux n'étaient éclairés que par des fentes de jour. La porte à coussinets du premier niveau, au sud, résulte d'un réaménagement. A l'origine, le seul accès devait se trouver au nord où une porte couverte d'un arc brisé est conservée : elle a cependant peut-être été déplacée car elle paraît remontée au-dessus d'une maçonnerie entièrement reprise. Le départ d'un arc et un corbeau indiquent qu'un corps de bâtiment à deux niveaux au moins avait été ajouté à l'est. La transformation de la tour en pigeonnier a fait disparaître toute trace de son couronnement. Le logis est un long bâtiment très remanié, dont le premier niveau est partiellement enterré. Son élévation sud conserve les vestiges de deux baies géminées, et peut-être la trace d'une troisième, ainsi qu'une porte couverte d'un arc brisé et chanfreinée, mais qui paraît remontée. Les baies géminées ont été remplacées par des croisées, dont une est conservée entière : en grès rouge, elle est chanfreinée ; elles sont placées plus bas et correspondent donc à une modification des niveaux intérieurs, dont la voûte en berceau du niveau de soubassement serait contemporaine. Le bâtiment conservé n'est qu'une partie de la construction médiévale qui se prolongeait à l'est et à l'ouest, où sont visibles des arrachements de murs, l'embrasure d'une porte et une grande niche, peut-être un évier. Dans l'élévation nord, une série de corbeaux et l'embrasure d'une porte haute pouvaient correspondre à un corps de bâtiment accolé ou à une galerie (source :
https://www.pop.culture.gouv.fr/notice/merimee/IA46101502?mainSearch=%22varaire%22&last_view=%22list%22&idQuery=%225410bca-a861-cad7-7ec-a7b1b46785d%22).