Exercice 55 / 60

Puissance d'un test statistique

Probabilite de detecter un effet reel quand il existe

La puissance d'un test = P(rejeter H₀ | H₁ est vraie) = 1 - β

La puissance est la capacité à détecter un effet réel : elle grandit avec la taille de l'échantillon, avec l'ampleur de l'effet, avec la propreté des données, et avec le seuil, mais ce dernier levier se paie en faux positifs

Erreurs possibles :

Type I (α) : rejeter H₀ alors qu'elle est vraie (faux positif)
Type II (β) : ne pas rejeter H₀ alors qu'elle est fausse (faux negatif)
Puissance = 1 - β = P(detecter un vrai effet)

Facteurs qui augmentent la puissance :

Augmenter la taille d'echantillon n
Augmenter le seuil α (mais plus de faux positifs)
Plus grande taille d'effet
Moins de variabilite dans les donnees
Test unilateral vs bilateral

Taille d'effet (Cohen's d) : d = |μ₁ - μ₂| / σ

d = 0.2 : petit effet
d = 0.5 : effet moyen
d = 0.8 : grand effet

En ML : la puissance determine la taille d'echantillon minimale pour les tests A/B.

✏️ Exercice

Un test A/B a α=0.05, puissance souhaitee=0.80, taille d'effet d=0.5.

Avec la formule approchee n ≈ (z_α + z_β)² × 2 / d², calculez n par groupe.

(z_0.025=1.96, z_0.20=0.84)