Les ensembles sont d'une importance fondamentale en mathématiques; en fait, de manière formelle, la mécanique interne des mathématiques (nombres, relations, fonctions, etc.) peut se définir en termes d'ensembles. Plusieurs théories des ensembles ont été développées, dont la théorie naïve des ensembles.
Théorie naïve signifie théorie non formalisée, c'est-à-dire utilisant le langage courant pour parler des ensembles. Les mots et, ou, implique, ne ... pas, il existe, quel que soit ont leur signification usuelle.
La plus ancienne des théories des ensembles était une théorie naïve . Elle a été développée à la fin du XIXe siècle, principalement par Georg Cantor et Frege, pour permettre aux mathématiciens de travailler avec des ensembles infinis cohérents.
Elle permettait cependant de définir un ensemble en compréhension à partir de n'importe quelle propriété sans aucune restriction, ce qui a mené à des antinomies, ou paradoxes logiques, tel le paradoxe de Russell, ou sémantiques, tel le paradoxe de Berry (voir ci-dessous). La théorie axiomatique des ensembles a été développée en réponse, pour déterminer précisément quelles définitions d'ensembles pouvaient être autorisées. Aujourd'hui, pour les chercheurs en mathématiques, " théorie des ensembles " signifie usuellement théorie axiomatique des ensembles. Toutefois, cette théorie, aux multiples variantes, se présente généralement comme une extension de la logique des prédicats. Elle traite d'un langage-objet, permettant de parler des ensembles. Ceux-ci ne sont donc traités qu'indirectement par la théorie axiomatique, au travers du langage-objet. La théorie axiomatique des ensembles ne peut de ce fait être située au début des mathématiques, même si toutes les notions mathématiques peuvent être formalisées dans son cadre.
En revanche, il est utile d'étudier à un stade précoce des mathématiques une théorie naïve des ensembles, pour apprendre à les manipuler, car ils interviennent à peu près dans tous les domaines des mathématiques. On peut d'ailleurs dire que le langage de la théorie des ensembles constitue un esperanto des mathématiques. De plus, une bonne compréhension de la théorie naïve est importante comme première approche de la théorie axiomatique.
Une théorie naïve des ensembles n'est pas contradictoire si elle précise correctement les ensembles qu'elle s'autorise à prendre en considération. Elle peut le faire au moyen de définitions, qui sont des axiomes implicites, étant ainsi comparable aux exposés élémentaires de géométrie.
Elle peut aussi expliciter systématiquement ses axiomes, comme le livre de Paul Halmos : Naive Set Theory. Il expose en fait une théorie axiomatique s'appuyant sur les axiomes de Zermelo-Fraenkel. Elle peut néanmoins être qualifiée de naïve, dans la mesure où elle utilise le langage ordinaire, et où elle n'aborde pas les questions d'indépendance, ni de consistance, du système d'axiomes.
La théorie naïve des ensembles s'organise de la façon suivante :
Notion d'ensemble
Sous-ensembles
Opérations sur les ensembles
Couple et produit cartésien
Correspondances et Relations
Première approche des cardinaux
Ces articles présentent la théorie naïve. Nous définissons d'abord les ensembles de manière informelle et nous donnons ensuite quelques propriétés. Les liens dans ces articles vers certains axiomes ne servent pas à justifier chaque énoncé, mais plutôt à souligner le parallèle qui peut être établi entre les théories naïve et formelle. Pour la signification des symboles logiques utilisés dans les énoncés en notation symbolique, on peut se référer à l'article Calcul des prédicats.
La découverte de paradoxes dans la théorie de Georg Cantor provoqua au début du XXème siècle une grave crise des mathématiques. On distingue habituellement les paradoxes logiques et les paradoxes sémantiques. Les deux exemples suivants illustrent les deux catégories.
Le paradoxe de Russell, découvert en 1901 par le mathématicien Bertrand Russell, résulte de la considération des ensembles qui ne sont pas éléments d'eux-mêmes.
On pose M l'ensemble des ensembles qui ne se contiennent pas eux-mêmes. Formellement, A est un élément de M si et seulement si A n'est pas un élément de lui-même.
Faisons l'hypothèse que M se contient lui-même, autrement dit que M est un élément de M. Cela est contradictoire avec la définition de M. On en déduit que M ne se contient pas lui-même. Mais dans ce cas, M est un ensemble qui n'est pas élément de lui-même et devrait à ce titre faire partie de M. Ainsi naît le paradoxe.
Le paradoxe de Berry résulte de la considération des entiers naturels définissables en moins de quinze mots français.
Soit B cet ensemble. Il est fini, car les séquences de quinze mots français sont en nombre fini. Soit a le plus grand élément de B. Soit b l'entier succédant à a. Il n'appartient donc pas à B. Pourtant b peut être défini en quatorze mots: "le successeur du plus grand entier naturel définissable en moins de quinze mots français". D'où la contradiction.
Les paradoxes montrent que la théorie des ensembles au sens de Cantor est une théorie contradictoire. La racine du problème vient de ce que nous avons accepté que n'importe quelle propriété puisse être utilisée pour construire les ensembles. Or certaines de ces propriétés (et c'est précisément le cas dans les deux paradoxes précédents) génèrent des boucles autoréférentielles instables (autrement dit des "cercles vicieux") et doivent donc être exclues.
La théorie axiomatique des ensembles pose des restrictions sur les types d'ensembles dont la construction est autorisée et évite ainsi les paradoxes connus.
La contrepartie de l'élimination des paradoxes est un développement beaucoup plus difficile, qui nécessite de bien distinguer le langage des ensembles proprement dit (le langage-objet) et le langage permettant de parler de ce langage-objet (la métalangue). Le paradoxe de Berry, qui résulte de la confusion entre ces deux langages, est ainsi évité. De même, afin d'éviter le paradoxe de Russel, il n'est pas admis de définir un ensemble en compréhension à partir de n'importe quelle propriété sans aucune restriction.
La théorie naïve des ensembles évite aussi les paradoxes si elle précise au cas par cas les ensembles qu'elle s'autorise à considérer. Elle présente alors l'inconvénient de nécessiter un très grand nombre d'axiomes, potentiellement infini.
Dans les domaines mathématiques qui semblent nécessiter malgré tout un " ensemble de tous les ensembles " (comme la théorie des catégories), on peut parfois utiliser un ensemble universel suffisamment grand pour que toutes les mathématiques usuelles puissent être construites ( voir l'article " sous-ensemble " ).
Cependant, nous pouvons recourir à une théorie des ensembles autorisant les classes. Dans ces théories, il existe une classe de tous les ensembles, ainsi qu'une classe de tous les ensembles qui ne se contiennent pas eux-mêmes. Comme ces classes ne sont pas des ensembles, les paradoxes tels que celui de Russell sont évités.
Un autre recours consiste à utiliser une axiomatique différente de la théorie des ensembles, comme dans les nouveaux fondements (New Foundations) de W. V. Quine, qui permettent de définir un ensemble de tous les ensembles tout en évitant le paradoxe de Russell d'une autre manière. Le problème est résolu d'une autre façon, mais cela donne rarement une différence finale avec la théorie classique.