Les Carnets secrets de Jean Zay sont des notes prises par Jean Zay pendant son ministère. Confiées par lui à l'un de ses amis, elles ont en fait été vendues à la presse. Les premiers documents paraissent dans Je suis partout le 28 février 1941, puis dans Gringoire. Ces « documents » sont enfin publiés sous forme de livre par les Éditions de France en 1942, accompagnés de commentaires de Philippe Henriot. La publication était sans doute orientée, afin de confirmer les positions du régime de Vichy ; il s'agissait de dénoncer à des fins de propagande le « bellicisme » de Jean Zay. Toutefois, les originaux ayant disparu, toute comparaison est impossible.
Cette publication tronquée porte atteinte à l'honneur de Jean Zay et en 1948, sa veuve, Madeleine Zay, obtient en partie réparation en justice en faisant condamner "Gringoire" et les héritiers de Philippe Henriot à verser des dommages-intérêts pour la calomnie de cette publication.
Jean Zay écrit pendant sa captivité Souvenirs et solitude, qui est publié la première fois en 1945. Le livre est construit comme un journal, décrivant les évènements qu'il vit dans sa prison et commentant l'actualité telle qu'il en a connaissance. C'est aussi l'occasion d'exprimer des réflexions sur la justice ou l'emprisonnement, de rappeler des souvenirs et d'évoquer des projets pour la France de la Libération.
« Pour Jean Zay, la République repose avant tout sur le civisme et l'intelligence des citoyens, c'est-à-dire sur leur éducation intellectuelle et morale. […] Contre la conservation sociale mais aussi contre les utopies révolutionnaires, la politique est ce mouvement par lequel l'humanité s'approfondit et devient en quelque sorte plus digne d'elle-même. » (Antoine Prost).
Il ne serait pas pensable de tenter d’expliquer l’action de Jean Zay sans la replacer dans le contexte de l’action politique. Dès sa majorité, en effet, il estima que « l’intellectuel ne peut pas ne pas prendre parti dans la controverse qui chaque jour sur le forum dresse les citoyens les uns contre les autres ». C’est bien là, semble-t-il, le point de départ de son engagement politique.
Jean Zay était arrivé à la tête de l’Éducation nationale sans préavis, et ce n’était donc pas sur la base d’une réputation pédagogique, mais bien plutôt sur celle de ses capacités d’analyse et de pondération, et de son courage vertueux, qu’il fut placé dans cette éminente position.
Car Jean Zay était avant tout un homme politique, plutôt qu’un politicien, c’est-à-dire qu’il était de cette espèce rare d’homme à qui l’action importait beaucoup plus que le jeu des pouvoirs. Et cette action, en cette époque de toutes les dictatures (Allemagne, Italie, Espagne, et même partis antirépublicains français), était vitale aux yeux d’un homme de convictions. Arrivé au poste de ministre de l’Éducation nationale, Il avait compris que la République ne pouvait être défendue, servie, construite, que par un peuple instruit et éduqué dans ses valeurs démocratiques. Car la démocratie et la République semblait à une partie de la population une option que l’on pourrait abroger : en 1934, Le Petit Journal organisa un sondage : « Si la France avait besoin d’un dictateur, lequel choisiriez-vous ? » Pétain arriva en tête.
Bien conscient de l’importance cruciale de ces chantiers après les événements de février 1934, visionnaire, incisif, mais sans illusion, il allait employer toute son ardeur à servir cette cause.
Une des caractéristiques du système éducatif que Jean Zay déplorait le plus était celle qui occasionnait la perte, pour la République, de sujets précieux, travailleurs et doués, qui, faute d’argent, ne pouvaient accéder à des postes où ils auraient pu donner le meilleur d’eux-mêmes. À l’inverse, des esprits médiocres et nonchalants, grâce à leur fortune, pouvaient sans difficulté accéder à la haute fonction publique, sans même disposer d’une formation adéquate. Ce fut alors l’idée de l’ENA, qui ne vit le jour qu’après la guerre. L’actualité récente montre que le but de Jean Zay a été obtenu médiocrement, car ses élèves restent en grande partie issus du milieu des notables, perpétuant une République de notables. Toutefois, l’unification de leur formation constitue un progrès. Ainsi, un journaliste britannique écrivait tout récemment : « [...] Ils ont aussi une administration hautement qualifiée, adaptée aux défis des Temps modernes, un sens de l’Histoire et de la nation ».
Son grand projet de réforme du système éducatif (déposé en 1937, mais « torpillé » par la majorité conservatrice du Sénat), un des plus élaborés jamais conçu et un des plus démocratiques pour l'époque, partait de la même conviction que la vertu, les capacités intellectuelles, et, pour employer une expression désuète, le cœur, n’étaient pas l’apanage des classes aisées, et que la société avait tout à gagner d’accorder le maximum de chance à tous, ainsi qu’à former au mieux le plus grand nombre. Son projet de réforme a notamment concerné les lycées de jeunes filles et les Écoles normales primaires. Il faut aussi replacer son action, d’un point de vue plus temporel, dans l’action du gouvernement de Front populaire, qui avait pour optique d’étendre jusqu’aux classes laborieuses une vie de bien meilleure qualité, ce qui pour Jean Zay passait par la culture et l’instruction, tout autant que par les loisirs, ces fameux « congés payés », que l’on retient davantage aujourd’hui comme emblématiques de cette période.
Comme ministre, Jean Zay prépare un projet de réforme éducative, adopté le 2 mars 1937 en conseil des ministres, qui vise à démocratiser l'enseignement en unifiant l'enseignement primaire (avec la disparition des classes élémentaires des collèges et lycées) et en harmonisant le secondaire (général et technique/professionnel), mais aussi à améliorer la formation des enseignants. Toutefois, il ne peut aboutir. En revanche, il réorganise son ministère en fonction des trois degrés projetés et prend plusieurs mesures importantes.
Jean Zay est à l'origine de la multiplication des bourses aux élèves de primaire, de la scolarité obligatoire jusqu'à 14 ans (passage de 13 ans à 14 ans par la loi du 6 août 1936), des vacances ramenées au 14 au lieu du 31 juillet, de la lutte contre le surmenage scolaire, de la limitation des classes à 35 élèves (au lieu de 60 ou plus), de la généralisation des activités dirigées, de classes de 6° d'orientation expérimentales pour entrer dans le secondaire, de l'introduction de l'éducation sportive obligatoire, de la création du Comité supérieur des Œuvres en faveur de la jeunesse scolaire et universitaire (ancêtre des CROUS qui ne verront le jour qu'après guerre)... Il lance un programme de construction d'écoles et de lycées, crée de nombreuses classes, des cantines et des colonies de vacances.
Jean Zay a aussi tenté de créer une École nationale d'administration, mais le projet de loi, déposé le 1er août 1936, s'est heurté à de nombreuses oppositions.
Il cherche, avec l'aide d'Irène Joliot-Curie puis de Jean Perrin, sous-secrétaires d'État en 1936 et en 1938, à développer la recherche scientifique et prépare la création, en octobre 1939, du CNRS.
Sur le plan culturel et artistique, Jean Zay crée la Réunion des théâtres lyriques nationaux et le Musée national des arts et traditions populaires et il encourage les bibliobus. Il propose également la création du festival de Cannes, dont la première édition aurait dû se tenir en septembre 1939 si la guerre n'avait été déclarée.