La maison des Têtes est composée de quatre corps de logis, articulés autour d'une cour carrée permettant de faire entrer la lumière mais aussi de circuler. Auparavant, de chaque côté de l'édifice se trouvaient des écuries et un jardin (d'Ouest en Est).
À la fin du XVIIIe siècle, au rez-de-chaussée donnant sur la Grande Rue, est percé un arc de boutique faisant ainsi disparaître les trois ouvertures alors existantes. Seule subsiste aujourd'hui la porte d'entrée ouvrant sur le corridor. Pleinement gothique, elle est pourvue d'une menuiserie Louis XIV. Le décor de la façade, dans un style Gothique flamboyant, fait coexister jeux de courbes et de contre-courbes, alliant larmiers cordés, fenêtres à faisceaux de moulures, figures fantastiques rampantes, motifs feuillagés sur les arcs en cloche et gâbles découpés pour les ouvertures (premier étage). Les références à ce style restent, malgré l'époque tardive ( XVIe siècle ), fréquentes à Valence.
Viennent se jouer en contre-pieds, dans un style Renaissance italienne, les neuf figures en médaillon du rez-de-chaussée, les quatre têtes joufflues des Vents et les deux statues de demi-grandeur au pourtour des ouvertures du premier étage (à gauche la Fortune, à droite le Temps). Vraisemblablement ce décor exubérant devait s'étendre à l'ensemble des deux façades, comme l'indique la tête du vent, au nord ; il fut cependant détruit ou, plus probablement, ne fut jamais exécuté.
Le corridor menant à la cour intérieure reproduit le style de la façade. Sa voûte sur croisée d'ogives, ainsi que les clefs pendantes entre les arcs de la voûte, sont du style gothique. Des motifs de la Renaissance sont présents, tels les bustes en médaillon inspirés d'empereurs romains et philosophes antiques ou les culots sculptés de putti tenant des écus.
Hors proportions, la cour intérieure fut conçue afin de mettre en avant la richesse de son propriétaire. Contrairement à la façade de rue, celle de la cour intérieure joue dans la sobriété. Celle-ci concentre les éléments de circulation d'un corps de logis à un autre, via un escalier et des galeries fermées. L'escalier à vis arbore une accolade ornée uniquement d'un écu couché. La cage d'escaliers est intégrée au corps du bâtiment sur cour, non pas dans une tour en saillie. Il dessert les quatre corps du logis principaux, directement ou par le biais de trois galeries.
L'une de ces galeries, voûtée sur croisées d'ogives, donne sur deux portes; l'une d'entre elles, la plus décorée, présente l'importance de sa destination, l'ancienne salle basse de la maison. Elle est tenue par un pilier central et deux clefs pendantes. Elle présente quatre des Pères de l'Église : Saint-Augustin, Saint Grégoire le Grand, Saint Jérôme et Saint Ambroise de Milan. Ce sont, avec les petites figures à la retombée des fenêtres, les dernières têtes ayant été sculptées sur l'édifice, et qui attribuèrent à celui-ci son nom.
En 1983 est signée une convention entre Valence et la Caisse Nationale des Monuments Historiques, permettant la création et le soutien du service municipal Valence Ville d'Art et d'Histoire, qu'abrite aujourd'hui La Maison des Têtes, en plus du Service Départemental de l'Architecture.