En mathématiques, un groupe est une structure algébrique qui consiste en un ensemble muni d'une unique opération. Cette opération possède de bonnes propriétés, elle est associative, il existe un élément neutre et tout élément admet un inverse. Un groupe fini est un groupe dont le nombre d'éléments est fini. La simplicité de la définition cache une structure dont la complexité peut devenir redoutable si l'ordre, c'est-à-dire le nombre d'éléments, du groupe grandit. Une représentation d'un groupe fini est une méthode pour étudier une telle structure. Elle revient à étudier le groupe comme un ensemble de symétries d'un espace euclidien. Par exemple, le groupe des permutations d'un ensemble à trois éléments se représente comme le groupe des applications linéaires du plan laissant globalement invariant un triangle équilatéral dont le centre est l'origine.
Une représentation se décompose en éléments simples, appelés représentations irréductibles et qui sont en nombre fini. Elles représentent les briques élémentaires qui permettent de construire toutes les représentations. La géométrie euclidienne joue un rôle dans cet univers. Une représentation quelconque se décompose en représentations irréductibles qui agissent sur des plus petits espaces tous orthogonaux les uns par rapport aux autres. Une manière d'étudier une représentation donnée est de considérer l'application qui, à un élément du groupe, associe la somme des coefficients diagonaux d'une matrice représentant l'application linéaire image. Cette application porte un nom, on parle du caractère de la représentation. Elle fait aussi partie d'un espace euclidien appelé l'espace des fonction centrales. Une base orthonormée de cet espace est composée des caractères des représentations irréductibles et le calcul des coordonnées d'un caractère quelconque dans cette base permet d'obtenir la décomposition en éléments simples. Comme souvent en algèbre, l'étude est plus simple si l'espace vectoriel utilise comme nombres les imaginaires. Le produit scalaire dont il est question ici est alors défini sur les nombres complexes, on parle parfois de produit hermitien et de géométrie hermitienne.
Historiquement, cette théorie est apparue pour répondre à une question provenant de la théorie de Galois. L'étude des solutions d'une équation polynomiale amène à l'étude d'une représentation d'un groupe, dit de Galois. Dedekind, un mathématicien allemand de la deuxième moitié du XIXe siècle cherchait à factoriser, c'est-à-dire à décomposer en éléments simples, le groupe de Galois d'une équation du quatrième degré. La tâche n'est pas si simple, un tel groupe est représenté par 24 matrices de chacune 576 coefficients. N'y parvenant pas, il écrit à Frobenius, qui comprend rapidement pourquoi les caractères sont la réponse à cette délicate question et comment résoudre la difficulté. Frobenius pressent qu'il dispose là d'une approche fructueuse, ouvrant la voie à une vaste théorie, source de progrès en théorie des groupes.
Cette théorie offre de fait des outils puissants pour élucider la théorie des groupes finis, permettant par exemple de déterminer le caractère résoluble d'un groupe en fonction de son ordre. De manière moins anecdotique, la représentation des groupes finis est l'outil de base de la classification. L'apport algébrique ne s'arrête pas là. Les applications linéaires s'additionnent, ce qui permet de définir un anneau, si l'on considère l'espace vectoriel engendré par les images du groupe. Les outils de la représentation d'un groupe fini interviennent dans l'étude de la structure d'un anneau, comme l'illustre le théorème d'Artin-Wedderburn. Enfin, la théorie de Galois, à l'origine des travaux de Frobenius, n'est pas en reste. À travers la théorie des corps de classes ou celle, moins aboutie, du programme de Langlands, la représentation des groupes est au cœur de la recherche mathématique actuelle.
Le savoir purement mathématique associé à cette théorie est traité dans l'article théorie des représentations d'un groupe fini.