Concentration et loi des grands nombres

Pourquoi la fréquence observée se rapproche-t-elle de la probabilité ? L'inégalité de Bienaymé-Tchebychev contrôle les écarts à l'espérance ; appliquée à la moyenne d'un échantillon, elle démontre la loi des grands nombres.

  • Appliquer l'inégalité de Bienaymé-Tchebychev
  • Appliquer l'inégalité de concentration
  • Déterminer une taille d'échantillon
  • Comprendre la loi des grands nombres

Cours

1. Inégalité de Bienaymé-Tchebychev

Soit $X$ une variable aléatoire d'espérance $\mu$ et de variance $V$. Pour tout réel $\delta > 0$ : $$P\big(|X - \mu| \geqslant \delta\big) \leqslant \frac{V}{\delta^2}.$$

La probabilité que $X$ s'écarte de son espérance d'au moins $\delta$ est d'autant plus petite que la variance est faible : la variance est bien un indicateur de dispersion.

En prenant $\delta = k\sigma$ ($k > 0$) : $\;P(|X - \mu| \geqslant k\sigma) \leqslant \dfrac{1}{k^2}$. Par exemple, la probabilité de s'écarter de plus de $2\sigma$ est au plus $\frac14$, de plus de $3\sigma$ au plus $\frac19$.

Cette majoration est valable pour toutes les lois, donc souvent grossière : pour une loi binomiale, la probabilité réelle de s'écarter de plus de $2\sigma$ est en général proche de 0,05, bien en dessous de 0,25.

$X \sim \mathcal{B}(100\,;\,0{,}5)$ : $\mu = 50$, $V = 25$. $\;P(|X - 50| \geqslant 10) \leqslant \frac{25}{100} = 0{,}25$. La valeur réelle (calculatrice) est environ 0,057.

2. Inégalité de concentration

Soit $M_n$ la moyenne d'un échantillon de taille $n$ d'une loi d'espérance $\mu$ et de variance $V$. Pour tout $\delta > 0$ : $$P\big(|M_n - \mu| \geqslant \delta\big) \leqslant \frac{V}{n\delta^2}.$$

D'après le chapitre précédent, $E(M_n) = \mu$ et $V(M_n) = \dfrac{V}{n}$ (variables indépendantes). On applique l'inégalité de Bienaymé-Tchebychev à $M_n$ : $$P(|M_n - \mu| \geqslant \delta) \leqslant \frac{V(M_n)}{\delta^2} = \frac{V}{n\delta^2}. \quad\blacksquare$$

On lance une pièce équilibrée $n$ fois ; $M_n$ est la fréquence de Pile ($\mu = 0{,}5$, $V = 0{,}25$). Pour garantir $P(|M_n - 0{,}5| \geqslant 0{,}05) \leqslant 0{,}05$, il suffit que $\frac{0{,}25}{n \times 0{,}0025} \leqslant 0{,}05$, soit $n \geqslant 2\,000$.

3. Loi des grands nombres

Soit $(X_n)$ une suite de variables aléatoires indépendantes de même loi, d'espérance $\mu$, et $M_n$ la moyenne des $n$ premières. Pour tout $\delta > 0$ : $$\lim_{n\to+\infty} P\big(|M_n - \mu| \geqslant \delta\big) = 0.$$

Quand $n$ est grand, la moyenne observée est très probablement proche de l'espérance. En particulier, la fréquence d'un événement se rapproche de sa probabilité.

D'après l'inégalité de concentration, $0 \leqslant P(|M_n - \mu| \geqslant \delta) \leqslant \frac{V}{n\delta^2}$, et $\frac{V}{n\delta^2} \to 0$ quand $n \to +\infty$. Par le théorème des gendarmes, la probabilité tend vers 0.

Jacques Bernoulli énonce le premier la loi des grands nombres dans l'Ars Conjectandi (1713), qu'il appelle son « théorème d'or ». Bienaymé (1853) et Tchebychev (1867) démontrent l'inégalité qui porte leur nom et en donnent une preuve simple. La loi des grands nombres justifie les sondages et le principe des assurances.

Méthodes à connaître

  1. Calcule $E(X)$ et $V(X)$.
  2. Identifie l'écart $\delta$ : l'événement doit s'écrire $|X - E(X)| \geqslant \delta$.
  3. Majore : $P(|X - E(X)| \geqslant \delta) \leqslant \dfrac{V(X)}{\delta^2}$ ; pour l'événement contraire, minore par $1 - \dfrac{V(X)}{\delta^2}$.
  1. Écris l'inégalité de concentration pour la moyenne : $P(|M_n - \mu| \geqslant \delta) \leqslant \dfrac{V(X)}{n\delta^2}$.
  2. Impose que ce majorant soit inférieur au risque $\alpha$ voulu.
  3. Résous en $n$ : $n \geqslant \dfrac{V(X)}{\alpha\delta^2}$.

Mini-jeux

Exercices

$X$ a pour espérance 20 et variance 4. Majorer $P(|X - 20| \geqslant 5)$ puis minorer $P(15 < X < 25)$.

Majorant :

$\frac{4}{25} = 0{,}16$. $\;P(15 < X < 25) = 1 - P(|X - 20| \geqslant 5) \geqslant 0{,}84$.

Le temps de trajet d'un bus a pour espérance 30 min et écart type 3 min. Minorer la probabilité qu'un trajet dure entre 21 et 39 minutes (exclus).

$\delta = 9 = 3\sigma$ : $P(|T - 30| \geqslant 9) \leqslant \frac19$, donc $P(21 < T < 39) \geqslant \frac89 \approx 0{,}89$.

Dans une population, une proportion inconnue $p$ vote pour A. On interroge $n$ personnes au hasard ; $F_n$ est la fréquence observée. Sachant que $p(1 - p) \leqslant \frac14$, déterminer $n$ pour que $P(|F_n - p| \geqslant 0{,}03) \leqslant 0{,}05$.

$P \leqslant \frac{p(1-p)}{n \times 0{,}0009} \leqslant \frac{0{,}25}{0{,}0009\,n} \leqslant 0{,}05 \iff n \geqslant \frac{0{,}25}{0{,}000045} \approx 5\,556$. Avec la loi binomiale exacte, environ 1 000 suffisent : Bienaymé-Tchebychev est prudent.

On lance un dé 6 000 fois et on obtient 1 150 fois le 6. Avec l'inégalité de concentration ($\delta = 0{,}025$), la probabilité qu'un dé équilibré donne une fréquence aussi éloignée de $\frac16$ est-elle faible ?

Fréquence $\approx 0{,}1917$, écart à $\frac16 \approx 0{,}025$. $V = \frac16 \times \frac56 = \frac{5}{36}$. $P(|F - \frac16| \geqslant 0{,}025) \leqslant \frac{5/36}{6000 \times 0{,}000625} \approx 0{,}037$. Un tel écart est peu probable pour un dé équilibré : on peut douter de l'équilibre du dé.

Écrire un programme Python qui simule $N = 1\,000$ échantillons de taille $n = 400$ de lancers de pièce et calcule la proportion d'échantillons dont la fréquence de Pile s'écarte de 0,5 d'au moins 0,05. Comparer au majorant $\frac{V}{n\delta^2}$.

from random import random
N, n, d = 1000, 400, 0.05
c = 0
for j in range(N):
    f = sum(1 for i in range(n) if random() < 0.5) / n
    if abs(f - 0.5) >= d:
        c = c + 1
print(c / N, 0.25 / (n * d**2))

On observe une proportion d'environ 0,05, alors que le majorant vaut 0,25.