Le Grabatoire ne possède pas d’attributs architecturaux monumentaux. Il ne possède pas d’ornement exceptionnel, mais possède en revanche, une proportion aux ampleurs relativement grandes. Sa vue fait de l’édifice et de ses bâtiments alentour, un véritable quartier urbain du temps de François Ier. La maison est composée d’un grand pavillon à double étage, prolongé vers l’ouest par un bâtiment moins élevé et terminé par un pignon à remparts. Vers le nord, on trouve un corps de bâtiment moins important et à toit moins élevé, possédant des pignons libres et découverts. Cette partie est liée à l’édifice principal par l’angle. Deux tourelles à pans renferment les escaliers desservant les étages de cette double habitation. La façade du pavillon est percée de trois fenêtres superposées : une pour chaque étage. On trouve la même disposition sur la façade située en retour sur la cour. Celle-ci possède cependant deux ouvertures latérales en plus. À l’origine, toutes les fenêtres étaient ornées de croix et de ventrières en pierre. Tout cela a disparu aux XVIIe siècle et XVIIIe siècle siècles à une époque où la lumière était particulièrement recherchée à l’intérieur des bâtiments.