Convexe contre non-convexe
Savoir quand la descente garantit le minimum.
Un seul creux ou plusieurs
(w-3)² est convexe : un seul creux, toute descente raisonnable y mène. Un MLP est non-convexe : vallées, plateaux, points-selles. La pente nulle n'y garantit plus le meilleur minimum.
Conséquences pratiques
En convexe (régression Ridge), l'initialisation compte peu, le pas suffit. En non-convexe (deep), comptent aussi : initialisation, ordre des exemples, momentum, normalisation. Retenez : si vos pertes stagnent en deep alors qu'elles descendaient en linéaire, suspectez un plateau, pas un bug de dérivée.
Pas de correction en ligneConfrontez votre code aux résultats attendus du cours.