SGD, momentum et Adam en deep
Choisir l'optimiseur et son pas decay.
Pourquoi Adam domine en deep
Paysage non convexe, ravins, plateaux : momentum traverse, pas adaptatif par paramètre (Adam) avance vite sans réglage fin. SGD + momentum + scheduler reste le champion en vision bien réglée, Adam le défaut robuste en texte/tabulaire.
Recette
Adam lr=1e-3 puis decay/division sur plateau validé, weight_decay pour Ridge-like, gradient clipping contre explosions en RNN. Comparez toujours à budget égal et graines multiples : un optimiseur "meilleur" sur une graine est un bruit.
Pas de correction en ligneConfrontez votre code aux résultats attendus du cours.