La Cité de la Muette à Drancy, construite par Eugène Beaudouin, Marcel Lods et Jean Prouvé entre 1931 et 1934 pour l'Office public HBM de la Seine, est traditionnellement considéré comme le premier grand ensemble en France. Elle est même à l'origine du terme de "grand ensemble" puisque c'est ainsi que la désigne pour la première fois Marcel Rotival dans un article de l'époque. Cette cité, initialement conçue comme une cité-jardin, se transforme en cours d'étude en un projet totalement inédit en France, avec ses 5 tours de 15 étages et son habitat totalement collectif. Cependant, cette initiative reste sans lendemain du moins dans l'immédiat.
Après la Seconde Guerre mondiale, le temps est à la reconstruction et la priorité n'est pas donnée à l'habitat. Le premier plan quinquennal de Jean Monnet (1947-1952) a avant tout pour objectif la reconstruction des infrastructures de transport et le recouvrement des moyens de production. Par ailleurs, le secteur du bâtiment en France est alors incapable de construire des logements en grande quantité et rapidement : ce sont encore de petites entreprises artisanales aux méthodes de constructions traditionnelles.
Les besoins sont pourtant considérables : sur 14,5 millions de logements, la moitié n'a pas l'eau courante, les 3/4 n'ont pas de WC, 90% pas de salle de bain. On dénombre 350 000 taudis, 3 millions de logements surpeuplés et un déficit constaté de 3 millions d'habitations. Le blocage des loyers depuis 1914, très partiellement atténué par la Loi de 1948, ne favorise pas les investissements privés.
L'État tente de changer la situation en impulsant à l'industrialisation des entreprises du bâtiment : en 1950, Eugène Claudius-Petit, ministre de la reconstruction, lance le concours de la Cité Rotterdam à Strasbourg. Ce programme doit comporter 800 logements, mais le concours, ouvert à un architecte associé à une entreprise de BTP, prend en compte des critères de coût et de rapidité d'exécution. Le projet est gagné par Eugène Beaudouin qui réalise un des premiers grands ensembles d'après guerre en 1953. En 1953 toujours, Pierre Courant, Ministre de la Reconstruction et du Logement, fait voter une loi qui met en place une série d'interventions (appelée "Plan Courant") facilitant la construction de logements tant du point de vue foncier que du point de vue du financement (primes à la construction, prêts à taux réduit, etc.) : la priorité est donnée clairement par le ministère aux logements collectifs et à la solution des grands ensembles.
La même année, la création de la contribution obligatoire des entreprises à l'effort de construction (1% de la masse des salaires pour les entreprises de plus de 10 salariés) introduit des ressources supplémentaires pour la réalisation de logements sociaux : c'est le fameux "1% patronal". Ces fonds sont réunis par l’Office Central Interprofessionnel du Logement (OCIL), à l'origine de la construction d'un certain nombre de grands ensembles.
Mais le véritable choc psychologique intervient en 1954 : le terrible hiver et l'action de l'Abbé Pierre engage le gouvernement à lancer une politique de logement volontariste. Un programme de "Logements économiques de première nécessité" (LEPN) est lancé en juillet 1955 : il s'agit de petites cités d'urgence sous la forme de pavillons en bandes. En réalité, ces réalisations précaires s'avèrent catastrophiques et se transforment en taudis insalubres dès l'année suivante. La priorité est donnée alors résolument à l'habitat collectif de grande taille et à la préfabrication en béton, comme seule solution au manque de logements en France.
Il n'existe pas une procédure type de construction d'un grand ensemble pendant cette période. En effet, de très nombreuses procédures techniques ou financières sont utilisées. Elles servent souvent d'ailleurs à désigner les bâtiments ou quartiers construits à l'époque : Secteur industrialisé, LOPOFA (LOgements POpulaires FAmiliaux), Logecos (LOGements ECOnomiques et familiaux), LEN (Logements économiques normalisés), l'opération Million, l'opération "Économie de main d'œuvre". L'unique objectif de toutes ces procédures est de construire vite et en très grande quantité. Le cadre de la Zone à urbaniser en priorité intervient en 1959, avec des constructions qui ne commencent réellement qu'en 1961-1962.
On peut distinguer 3 contextes de construction de ces grands ensembles à la fin des années 1950 et début des années 1960 :
Il est à noter qu'un grand ensemble n'est pas forcément un ensemble de logements sociaux : il peut s'agir aussi de logements de standing, comme le quartier de la Rouvière à Marseille.
Tout est mis en œuvre pour qu'un maximum d'économies soient réalisées sur le chantier :
Les désignation de ces grands ensembles sont à cette époque très diverses : unité de voisinage, unité d'habitation, ville nouvelle (sans aucun rapport avec les villes nouvelles de Paul Delouvrier), villes satellites, ou encore cités nouvelles, etc.
Pendant 20 ans, on estime à 300 000 le nombre de logements construits ainsi par an, alors qu'au début des années 1950, on ne produisait que 10 000 logements chaque année. 6 millions de logements sont ainsi construits au total. 90 % de ces constructions sont aidées par l'État.
En 1965, le programme des villes nouvelles est lancé, se voulant en rupture avec l'urbanisme des grands ensembles. En 1969, les Zones à Urbaniser en Priorité sont abandonnées au profit des ZAC, créées 2 ans plus tôt. Enfin, le 21 mars 1973, une circulaire ministérielle signée par Olivier Guichard, ministre de l'Équipement, du Logement et des Transports, "visant à prévenir la réalisation des formes d'urbanisation dites " grands ensembles " et à lutter contre la ségrégation sociale par l'habitat", interdit toute construction d'ensembles de logements de plus de 500 unités. La construction des grands ensembles est définitivement abandonnée. La loi Barre de 1977 fait passer la priorité de l'aide gouvernementale de la construction collective à l'aide aux ménages : c'est le retour du pavillonnaire.