Pas, momentum et Adam

Pas trop grand, pas trop petit

Pas 0,1 sur (w-3)² depuis 0 : 0 -> 0,6 -> 1,08, ça descend. Pas 1,5 : ça oscille et diverge. Trop petit : ça rampe. Le bon pas dépend de l'échelle des données, d'où la standardisation.

Lisser et adapter

Momentum : moyenne mobile des pentes pour traverser plateaux et ravins. Adam : pas adaptatif par paramètre avec moments d'ordre 1 et 2, standard en deep. Retenez : Adam pardonne plus, mais en linéaire convexe un SGD bien réglé suffit et reste plus lisible.