Exercice 57 / 60

PCA - Analyse en Composantes Principales

Reduire les dimensions tout en preservant la variance

PCA (Principal Component Analysis) reduit le nombre de dimensions en trouvant les directions de variance maximale.

L'analyse en composantes principales cherche les directions où le nuage s'étire le plus : la première composante suit cet étirement, la seconde lui est perpendiculaire, et projeter sur la première seule fait perdre le moins d'information

Algorithme :

  1. Centrer les donnees (soustraire la moyenne)
  2. Calculer la matrice de covariance C = (1/n)XᵀX
  3. Calculer les valeurs propres et vecteurs propres de C
  4. Trier par valeur propre decroissante
  5. Projeter sur les k premiers vecteurs propres

Variance expliquee par la composante i : ratio_i = λᵢ / Σ λⱼ

Choix de k :

  • Regle du coude (elbow method)
  • Garder 95% de la variance expliquee

Exemple : valeurs propres = [4.5, 2.1, 0.3, 0.1] Variance totale = 7.0 PC1 explique 4.5/7.0 = 64.3% PC1+PC2 expliquent (4.5+2.1)/7.0 = 94.3%

En ML : PCA est utilise pour la visualisation (t-SNE), la compression, et eviter la malediction de la dimensionnalite.

✏️ Exercice

Valeurs propres d'une PCA : λ₁=5.2, λ₂=2.8, λ₃=1.2, λ₄=0.5, λ₅=0.3.

a) Variance expliquee par chaque composante ?

b) Combien de composantes pour 90% de variance ?

Envie d'aller plus loin ? Découvrez nos formations certifiées Bac+2 à Bac+5 →