Optimisation - Convexite et minima

Fonction convexe : une fonction f est convexe si le segment entre deux points de la courbe est toujours au-dessus de la courbe. Mathematiquement : f(λx + (1-λ)y) ≤ λf(x) + (1-λ)f(y) pour λ ∈ [0,1]

Une fonction est convexe quand le segment reliant deux points de sa courbe reste au-dessus d'elle : cette forme en cuvette ne cache aucun faux creux, si bien que tout minimum y est un minimum globalFermer

Propriete cle : dans une fonction convexe, aucun creux n'est un faux creux → tout minimum local est global. Ce n'est pas la meme chose que l'unicite : une fonction convexe peut avoir plusieurs minima (f(x) = max(0, x-1) + max(0, -1-x) est convexe et vaut 0 sur tout le segment [-1, 1]), ou meme aucun (f(x) = eˣ descend sans jamais toucher son plancher).

Test : f''(x) ≥ 0 pour tout x → f est convexe.

Minimum local vs global :

• Local : plus petit que ses voisins
• Global : le plus petit de toute la fonction
• Pour une fonction convexe : local = global

Points-selle : points ou le gradient est 0 mais qui ne sont ni min ni max (probleme en haute dimension).

En ML :

• MSE est convexe → aucun faux creux ou se bloquer
• Les reseaux de neurones ont des fonctions non-convexes → multiples minima locaux
• Adam, RMSProp : optimiseurs qui gerent mieux les paysages non-convexes.