Régression linéaire

La régression linéaire cherche à modéliser la relation entre une variable y (à prédire) et une variable x (prédicteur) par une droite :

ŷ = a + b × x

• a = ordonnée à l'origine (valeur de ŷ quand x = 0)
• b = pente (variation de ŷ quand x augmente de 1)
• ŷ se lit « y chapeau », c'est la valeur prédite par le modèle

1. Calcul de la pente b

b = Cov(X, Y) / Var(X)

• Cov(X,Y) mesure comment X et Y varient ensemble.
• Var(X) mesure la dispersion de X.

Intuition : b indique de combien y augmente (ou diminue) quand x augmente d'1 unité.

2. Calcul de l'ordonnée à l'origine a

Une fois b connu, on utilise les moyennes :

a = ȳ − b × x̄

La droite passe toujours par le point moyen (x̄, ȳ).

3. Le coefficient de détermination R²

Il mesure la qualité de l'ajustement du modèle.

R² ∈ [0, 1]

• R² = 1 : modèle parfait (la droite passe par tous les points)
• R² = 0 : la droite ne capture rien (autant tirer au hasard)
• R² = 0,9 : le modèle explique 90 % de la variance de y

4. Méthode pas à pas

1. Calculer la moyenne x̄ et ȳ.
2. Calculer Cov(X, Y) et Var(X).
3. Calculer b = Cov(X, Y) / Var(X).
4. Calculer a = ȳ − b × x̄.
5. Écrire la droite ŷ = a + b × x.

5. Exemple complet

Heures d'étude (x) vs Note (y) Données : Cov(x,y) = 8, Var(x) = 4, x̄ = 3, ȳ = 12

Étape 1 — Calculer b b = Cov(x,y) / Var(x) = 8 / 4 = 2 → chaque heure d'étude supplémentaire augmente la note de 2 points.

Étape 2 — Calculer a a = ȳ − b × x̄ = 12 − 2 × 3 = 12 − 6 = 6 → avec 0 heure d'étude, la note prédite est 6.

Étape 3 — Écrire le modèle note = 6 + 2 × heures

Ex : pour 5 heures d'étude → note prédite = 6 + 2×5 = 16.

6. Limites

• La régression linéaire suppose une relation linéaire entre x et y.
• Très sensible aux valeurs aberrantes (qui tirent la droite).
• R² élevé ≠ causalité.