Bâti sur une colline à l'intersection de plusieurs vallées, dont celle de la Dordogne, le château est visible de loin et reconnaissable à ses murs de pierre rouge. Sa forme est globalement triangulaire :
- 86 mètres pour le front est qui comprend l'entrée du château,
- 84 mètres pour le front nord-ouest,
- 83 mètres pour la front sud-ouest.
Sa conception impose le respect : triple enceinte, larges courtines, fossé profond, neuf tours rondes.
Il ne reste rien en élévation de ce qui a été construit au XIe siècle par les barons de Castelnau.
Le plus ancien bâtiment date du XIIe siècle : la tour de l'auditoire. Il est probable que le château est reconstruit après le siège de 1159. La tour de l'auditoire est un bâtiment rectangulaire mesurant 8 m par 11 m, d'une hauteur de 20 m. Il est construit sur deux niveaux de caves et comprend deux niveaux, aveugles à l'origine, avec un sommet une grande salle, une aula, ouverte par cinq baies remrquables(la construction des bâtiments du XIVe siècle a rendu aveugle l'ouverture sur un des côtés),trois côté extérieur et deux sur la cour du château avec une cheminée entre les deux ouvertures, lieu de vie et de réception où se sonr réunis les États du Quercy. Cette salle a pu être aménagée par Bernard de Castelnau ou Maffre II.
À côté se trouve le donjon de 7 m de côté et de 30 m de hauteur construit à la fin du 12e siècle et au début du 13e siècle. Les murs font 2 m d'épaisseur. Le donjour a été surélevé au 14e siècle. Il comporte trois niveaux.On voit encore des trous de boulin qui servaient à monter des hourds avant que ce mode de défense devienne inutile quand des mâchicoulis aient été construits lors de la surélévation du donjon. En 1475, Jean II fait une ouverture pour y placer une cloche. La salle du premier étage est voûtée sur croisée d'ogives.
Le reste du château est construit au XIVe siècle, au moment où la famille s'impose dans la région dans une période très troublée. Le bâtiment de l'auditoire est prolongé par le corps de logis de même largeur. Il correspond peut-être à l'agrandissement du château prévu par la charte d'Hugues III, en 1345. Ce corps de logis est remanié par les aménagements luxueux faits par Alexandre de Castelnau (1590-1621). Il reste de la construction initiale la chapelle castrale probablement contemporaine des évêques Pierre de Castelnau ou Bégon de Castelnau-Calmont. Un blason sculpté en clé de voûte est attribuée à l'évêque de Cahors, Jean de Castelnau-Calmont. La chapelle castrale était entièrement peinte, mais ces fresques, citées dans les rapports de visite du XIXe siècle, ont disparu sauf quelques traces.
Trois tours marquent les sommets du triangle de diamètres différents. Celle du sud a 5 m de diamètre, celle de l'ouest a 9 m et la tour militaire, ou grosse tour, a un diamètre de 12 m.
La tour militaire est renforcée au XVe siècle pour renforcer sa défense au moment où apparaît l'artillerie. On y fait des archères et des canonnières sur cinq étages. Les trois étges supérieurs ont un usage résidentiel.
Les bâtiments sont transformés au XVIe siècle pour améliorer le système défensif et les parties résidentielles.
On l’embellit au XVIIe siècle pour en faire une demeure de plaisance en y ajoutant des salons richement décorés, des fenêtres plus fonctionnelles et un balcon d’honneur.
Abandonné par les ducs de Luynes, le château va progressivement se transformer en ruine. L'incendie de 1851 a fait disparaître les appartements du XVIIe siècle. C'est Jean Mouliérat, à partir de 1896, qui va faire de la restauration l'œuvre de sa vie et lui donner son état actuel.
L'église du château, construite au XIVe siècle a été classée monument historique le 18 mars 1913