Exercice 44 / 60

Regression multiple - Introduction

Modele de regression avec plusieurs variables explicatives

La regression multiple etend la regression simple a plusieurs variables : y = β₀ + β₁x₁ + β₂x₂ + ... + βₚxₚ + ε

Ajouter une variable, même sans rapport, fait toujours monter le R² : c'est pourquoi le R² ajusté existe, qui retranche un prix à chaque variable ajoutée et peut donc baisser

En notation matricielle : y = Xβ + ε Solution (moindres carres) : β̂ = (XᵀX)⁻¹Xᵀy

Coefficient de determination R² : R² = 1 - SSres/SStot

R² = 1 : ajustement parfait
R² = 0 : le modele n'explique rien

R² ajuste : penalise l'ajout de variables inutiles : R²_adj = 1 - [(1-R²)(n-1)/(n-p-1)]

Multicolinearite : quand les variables explicatives sont correlees entre elles → instabilite des coefficients.

En ML : la regression multiple est la base de nombreux modeles predictifs.

✏️ Exercice

Un modele de regression avec n=50 et p=3 variables donne R²=0.85.

Calculez R² ajuste.