SVD - Decomposition en Valeurs Singulieres

La SVD decompose toute matrice A (m×n) en : A = U × Σ × Vᵀ

La décomposition en valeurs singulières écrit n'importe quelle matrice en trois facteurs : deux rotations (ou symétries) et, entre les deux, un étirement dont les valeurs sont rangées sur la diagonale, de la plus grande à la plus petiteFermer

ou :

• U (m×m) : matrice orthogonale (vecteurs singuliers gauches)
• Σ (m×n) : matrice diagonale des valeurs singulieres σ₁ ≥ σ₂ ≥ ... ≥ 0
• V (n×n) : matrice orthogonale (vecteurs singuliers droits)

Proprietes :

• Les valeurs singulieres σᵢ = √λᵢ ou λᵢ sont les valeurs propres de AᵀA
• Le rang de A = nombre de σᵢ > 0
• ||A||_F = √(Σ σᵢ²) (norme de Frobenius)

SVD tronquee : garder les k plus grandes valeurs singulieres. A ≈ Aₖ = Uₖ × Σₖ × Vₖᵀ (meilleure approximation de rang k)

Applications en ML :

• Compression d'images
• Systemes de recommandation (Netflix)
• LSA (Latent Semantic Analysis) en NLP
• Lien avec PCA : les composantes principales sont les vecteurs singuliers droits.