Loi des grands nombres - Définition

Loi forte des grands nombres

Considérons une suite de variables aléatoires indépendantes qui suivent la même loi de probabilité, intégrables, i. e. . En reprenant les notations ci-dessus, la loi forte des grands nombres précise que converge vers E(X) « presque sûrement ».

C’est-à-dire que :

Autrement dit, selon la loi forte des grands nombres, la moyenne empirique est un estimateur fortement convergent de l'espérance.

Loi faible des grands nombres

La loi faible des grands nombres est également appelée théorème de Khintchine (rarement utilisé).

On considère une suite de variables aléatoires indépendantes définies sur un même espace probabilisé, ayant même variance finie et même espérance notées respectivement V(X) et E(X). La loi faible des grands nombres stipule que, pour tout réel ε strictement positif, la probabilité que la moyenne empirique s'éloigne de l'espérance d'au moins ε, tend vers 0 quand n tend vers l'infini.

Autrement dit, converge en probabilité vers E(X). Ce résultat est très important en statistique, puisqu'il assure que la moyenne empirique est un estimateur convergent de l'espérance.

La loi faible des grands nombres se démontre en utilisant l'inégalité de Bienaymé-Tchebychev :

Convergence vers une loi de probabilité

La loi des grands nombres permet de dire que la répartition de la population de l'échantillon peut être approchée par la loi de probabilité de X pour n assez grand.

En effet, pour tout i, la fréquence f_n(i) de la valeur x_i dans l'échantillon converge vers la probabilité p_i.

Pour le prouver, on fixe désormais i et l'on considère pour tout k la variable aléatoire B_k indicatrice de l'évènement (X_k = x_i).
Cela signifie (par définition) que B_k(ω) = 1 si X_k(ω) = x_i et B_k(ω) = 0 si .

La suite (B_k) est constituée de variables aléatoires indépendantes suivant la même loi de Bernoulli de paramètre p_i ; elles possèdent une variance finie et leur espérance commune est E(B) = p_i.

Or, pour tout n, . Donc la fréquence f_n(i) converge vers p_i :

• en probabilité (d'après la loi faible des grands nombres)
• presque sûrement (d'après la loi forte des grands nombres)