Troost meurt en 1934, et Speer est choisi pour le remplacer comme architecte en chef du parti. L'une des premières commandes est peut-être la plus connue de ses réalisations : le gigantesque complexe du Reichsparteitagsgelände de Nuremberg, cadre des congrès du Parti national-socialiste et des parades militaires que l'on voit dans le film de Leni Riefenstahl, le Triomphe de la volonté. Ce lieu est basé sur l'architecture dorique des autels Pergamum en Turquie, mais augmenté dans des proportions gigantesques qui le rendent capable de contenir 240 000 personnes. Lors du rassemblement du parti en 1934, Speer place 150 projecteurs antiaériens autour du site. Cela crée l'effet d'une « cathédrale de lumière », selon l'ambassadeur britannique Neville Henderson (en).
De nombreux immeubles officiels nazis sont planifiés à Nuremberg, mais la plupart ne seront jamais construits ; ainsi, le stade allemand aurait dû contenir 400 000 personnes pour les « Jeux aryens », prévus en remplacement des Jeux olympiques. Pendant qu'il planifie ces constructions, Speer invente la théorie de la « valeur des ruines ». Selon ce raisonnement, soutenu avec enthousiasme par Hitler, tous les nouveaux bâtiments doivent pouvoir faire de belles ruines mille ans après leur construction. Ils seraient ainsi des hommages à la grandeur du Troisième Reich, comme celles de la Grèce antique sont le symbole de sa civilisation.
En 1937, Speer dessine le pavillon allemand pour l'Exposition spécialisée de 1937 se tenant à Paris, qui se trouve directement en face de celui de l'Union soviétique. Il le conçoit pour représenter une défense massive contre les assauts du communisme. Les deux pavillons obtiennent une médaille d'or pour leur conception. Les statues en ont été réalisées par Josef Thorak, avec lequel il était très lié.
Speer dirige aussi les plans de reconstruction de Berlin, devant devenir Germania, la capitale de la grande Allemagne. La première étape dans ces plans est le stade olympique pour les Jeux olympiques d'été de 1936. Speer fait les plans d'une nouvelle chancellerie, la Neue Reichskanzlei (la « nouvelle Chancellerie du Reich ») incluant dans ses jardins le fameux Führerbunker (le « Bunker du Führer »), ainsi qu'un vaste hall deux fois plus long que la Galerie des Glaces du Château de Versailles. Hitler en souhaite une troisième encore plus grande que la seconde, mais rien n'est construit. La seconde chancellerie est détruite par l'Armée rouge en 1945.
Presque aucun des autres immeubles planifiés pour Berlin qui devaient être alignés le long d'une avenue centrale de cinq kilomètres n'est construit. À l'extrémité nord de cette avenue, il est prévu un énorme dôme dans le même style que celui de la basilique Saint-Pierre à Rome ; à l'extrémité sud doit être construit un arc de triomphe d'une taille gigantesque, du type de celui de l'arc de triomphe de l'Étoile à Paris. Le déclenchement de la Seconde Guerre mondiale entraîne l'abandon de ces projets faute de main-d'œuvre et de crédits.
Au procès de Nuremberg, il est l'un des rares à exprimer des remords, ce qui lui sauve probablement la vie.
Il lui est reproché d'avoir utilisé ses différentes positions et son influence personnelle pour participer à la planification et à la préparation militaire et économique des conspirateurs nazis en vue de mener une guerre d'agression et des guerres en violation des traités internationaux, au sens des chefs d'accusation no 1 et 2, mais il est acquitté sur ces deux points.
Il est également accusé d'avoir autorisé, dirigé et pris part à des actes constitutifs de crimes de guerre d'après le chef d'inculpation no 3, et à des crimes contre l'humanité au sens du chef d'inculpation no 4, en particulier d'avoir eu recours massivement à l'exploitation, jusqu'à la mort, de travailleurs forcés dans le but de fournir de la main-d'œuvre aux diverses usines d'armements afin de conduire une guerre d'agression.
Le 1er octobre 1946, il est condamné à 20 ans de prison pour crimes de guerre et crimes contre l'humanité, peine qu'il purge dans la prison de Spandau.
Il est libéré le 30 septembre 1966. Il écrit pendant cette période plusieurs livres autobiographiques.
Il s'inscrit au Parti social-démocrate d'Allemagne (SPD), qui voit en lui une génération d'Allemands finalement moins coupables que les autres.
Il meurt subitement dans un hôtel de Londres le 1er septembre 1981 d'une hémorragie cérébrale.