Exercice 47 / 60

Optimisation - Convexite et minima

Fonctions convexes, minima locaux vs globaux

Fonction convexe : une fonction f est convexe si le segment entre deux points de la courbe est toujours au-dessus de la courbe. Mathematiquement : f(λx + (1-λ)y) ≤ λf(x) + (1-λ)f(y) pour λ ∈ [0,1]

Une fonction est convexe quand le segment reliant deux points de sa courbe reste au-dessus d'elle : c'est cette forme en cuvette qui garantit un minimum unique, donc global

Propriete cle : une fonction convexe n'a qu'un seul minimum → c'est le minimum global.

Test : f''(x) ≥ 0 pour tout x → f est convexe.

Minimum local vs global :

Local : plus petit que ses voisins
Global : le plus petit de toute la fonction
Pour une fonction convexe : local = global

Points-selle : points ou le gradient est 0 mais qui ne sont ni min ni max (probleme en haute dimension).

En ML :

MSE est convexe → un seul minimum
Les reseaux de neurones ont des fonctions non-convexes → multiples minima locaux
Adam, RMSProp : optimiseurs qui gerent mieux les paysages non-convexes.

✏️ Exercice

f(x) = x⁴ - 8x² + 16

Trouvez tous les points critiques et classez-les (min local, max local, ou point d'inflexion).