Exercice 58 / 60
SVD - Decomposition en Valeurs Singulieres
Factorisation matricielle fondamentale pour la data science
La SVD decompose toute matrice A (m×n) en : A = U × Σ × Vᵀ
ou :
- U (m×m) : matrice orthogonale (vecteurs singuliers gauches)
- Σ (m×n) : matrice diagonale des valeurs singulieres σ₁ ≥ σ₂ ≥ ... ≥ 0
- V (n×n) : matrice orthogonale (vecteurs singuliers droits)
Proprietes :
- Les valeurs singulieres σᵢ = √λᵢ ou λᵢ sont les valeurs propres de AᵀA
- Le rang de A = nombre de σᵢ > 0
- ||A||_F = √(Σ σᵢ²) (norme de Frobenius)
SVD tronquee : garder les k plus grandes valeurs singulieres. A ≈ Aₖ = Uₖ × Σₖ × Vₖᵀ (meilleure approximation de rang k)
Applications en ML :
- Compression d'images
- Systemes de recommandation (Netflix)
- LSA (Latent Semantic Analysis) en NLP
- Lien avec PCA : les composantes principales sont les vecteurs singuliers droits.
✏️ Exercice
Une matrice A a les valeurs singulieres σ₁=10, σ₂=5, σ₃=2, σ₄=0.1.
a) Calculez ||A||_F (norme de Frobenius).
b) Si on garde seulement σ₁ et σ₂, quel pourcentage de ||A||_F² est conserve ?