PCA - Analyse en Composantes Principales

PCA (Principal Component Analysis) reduit le nombre de dimensions en trouvant les directions de variance maximale.

L'analyse en composantes principales cherche les directions où le nuage s'étire le plus : la première composante suit cet étirement, la seconde lui est perpendiculaire, et projeter sur la première seule fait perdre le moins d'informationFermer

Algorithme :

1. Centrer les donnees (soustraire la moyenne)
2. Calculer la matrice de covariance C = (1/n)XᵀX
3. Calculer les valeurs propres et vecteurs propres de C
4. Trier par valeur propre decroissante
5. Projeter sur les k premiers vecteurs propres

Variance expliquee par la composante i : ratio_i = λᵢ / Σ λⱼ

Choix de k :

• Regle du coude (elbow method)
• Garder 95% de la variance expliquee

Exemple : valeurs propres = [4.5, 2.1, 0.3, 0.1] Variance totale = 7.0 PC1 explique 4.5/7.0 = 64.3% PC1+PC2 expliquent (4.5+2.1)/7.0 = 94.3%

En ML : PCA est utilise pour la visualisation (t-SNE), la compression, et eviter la malediction de la dimensionnalite.