Les mesures systématiques de l'énergie de liaison des noyaux atomiques montrent une déviation par rapport à l'énergie de goutte liquide. En particulier, certains noyaux possédant des nombres particuliers de protons et/ou de neutrons sont beaucoup plus liés (stables) que ne le prédit le modèle de goutte liquide. Ces noyaux sont dits magiques. Cette observation a conduit à postuler l'existence d'une structure en couches des nucléons dans le noyau à l'instar de la situation de la structure en couches des électrons dans les atomes.
Concrètement, les nucléons sont des objets quantiques. En toute rigueur, on ne peut pas parler des énergies individuelles des nucléons, car elles sont toutes corrélées les unes aux autres. Pour faire apparaître la structure en couches, au sein de laquelle évoluent les nucléons, on envisage un noyau moyen. Les énergies que les nucléons peuvent y avoir sont discrètes : ce sont des niveaux énergétiques. La distribution de ces niveaux n'est pas forcément uniforme : il se peut qu'une certaine plage en énergie contienne beaucoup de niveaux alors qu'une autre plage énergétique sera quasi-vide. Une telle répartition est appelée structure en couches. Une couche est un ensemble de niveaux proches en énergies et séparée des autres couches par un espace vierge de tout niveau (appelé "gap" en anglais).
Le calcul des niveaux d'énergie fait appel au formalisme de la mécanique quantique. Ils sont obtenus par diagonalisation de l'hamiltonien du système. Chaque niveau peut être occupé, et parfois correspond à plusieurs états de particules : on dit alors qu'il est dégénéré. La dégénérescence d'un niveau d'énergie est généralement liée aux propriétés de symétrie du noyau moyen.
Le concept de structure en couches permet de comprendre pourquoi certains noyaux sont plus stables que d'autres. Il faut savoir que deux nucléons du même type ne peuvent pas se trouver dans le même état (Principe d'exclusion de Pauli). Dans l’état de plus basse énergie du noyau, les nucléons remplissent tous les niveaux, du plus bas en énergie jusqu'à un certain niveau donné (appelé le niveau de Fermi). Supposons que ce niveau de Fermi soit le dernier niveau occupé d'une couche. Pour exciter le noyau, il faut forcer un nucléon à quitter un des niveaux occupés, et le promouvoir dans un niveau libre. Comme dans notre exemple le premier état libre est situé dans la couche suivante, cette excitation est énergétiquement coûteuse (l'énergie nécessaire étant au moins égale à l'écart entre les deux couches considérées). A contrario, si le dernier niveau occupé et le premier niveau libre appartiennent à la même couche, l'énergie nécessaire sera beaucoup plus faible et le noyau sera donc moins stable. Tout dépend donc du nombre de nucléons disponibles, et de la structure en couches du noyau.
Le vocable de modèle en couches peut prêter à confusion, en ce sens qu'il recouvre deux notions qui, bien que reliées, n'en sont pas moins différentes. Historiquement, il fut utilisé pour décrire l'existence de couches nucléoniques dans le noyau suivant une approche qui ressortait en fait plus d'une théorie de champ moyen. De nos jours, il désigne un ensemble de techniques qui servent à résoudre une certaine variante du problème à N corps nucléaire. Ce sont ces dernières que nous allons introduire ici.
Plusieurs hypothèses fondamentales sont faites pour donner un cadre de travail précis au modèle en couche :
La procédure générale mise en œuvre dans les calculs de modèle en couches est la suivante. Tout d'abord, on définit un certain hamiltonien qui va décrire le noyau. Comme il a été mentionné plus haut, seuls les termes à deux corps sont pris en compte dans la définition de l'interaction. Cette dernière est une interaction effective : elle contient des paramètres libres qui doivent être ajustés à partir de données expérimentales.
L'étape suivante consiste à définir une base d'états quantiques individuels, c'est-à-dire un ensemble de fonctions d'onde décrivant tous les états possibles d'un nucléon. La plupart du temps, cette base est obtenue par un calcul Hartree-Fock. Avec cet ensemble d'états individuels, on construit des déterminants de Slater, c'est-à-dire des fonctions d'onde de Z ou N variables (suivant que l'on considère les protons ou les neutrons) s'écrivant comme un produit antisymétrisé des fonctions individuelles (antisymétrisé signifiant que l’échange des variables de deux nucléons quelconques change le signe de la fonction d'onde).
En principe, le nombre d'états quantiques liés (ou discrets) disponibles pour un seul nucléon est fini, appelons-le n. Le nombre de nucléons du noyau est toujours plus petit que ce nombre d'états possibles. Il existe donc plusieurs possibilités de choisir un ensemble de Z (ou N) fonctions individuelles parmi les n fonctions possibles. En analyse combinatoire, le nombre de choix de Z objets parmi n s'appelle le nombre de combinaisons. Il se trouve que si le nombre d'états possibles, n, est beaucoup plus grand que le nombre de fonctions à choisir, Z ou N, le nombre de choix possibles - i.e. de déterminants de Slater - devient rapidement très grand. En pratique, ce nombre est si grand qu'il rend tout calcul quasiment impossible pour des noyaux au-delà de A supérieur ou égal à 8.
Pour pallier cette difficulté, on introduit une division de l'espace des états individuels possibles en un cœur et un espace de valence nommé par analogie avec la notion de couche de valence en chimie. Le cœur est un ensemble de niveaux individuels que l'on va supposer inactifs, au sens où l'on s'interdit de les considérer pour construire nos déterminants de Slater. Par opposition, l'espace de valence est l'ensemble de tous les états individuels qui peuvent jouer un rôle dans la construction des fonctions d'onde à Z (ou N) corps. L'ensemble de tous les déterminants de Slater possibles dans l'espace de valence définit une base d'états à Z (ou N) corps.
La dernière étape consiste à calculer la matrice de l'hamiltonien à deux corps dans cette base à Z corps, et à la diagonaliser. Malgré la réduction de la taille de la base due à l'introduction de l'espace de valence, les matrices à diagonaliser atteignent facilement des dimensions de l'ordre de 109 et requièrent des techniques spécifiques de diagonalisation. Les calculs de modèle en couches reproduisent en général les données expérimentales avec une excellente précision. Cependant, ils dépendent fortement de deux facteurs importants: