Descente batch, stochastique et mini-batch
Choisir combien d'exemples par mise à jour.
Trois régimes
Batch : gradient sur tout X puis une mise à jour. Stable mais coûteux. Stochastique (SGD) : un exemple, une mise à jour. Bruité mais rapide et capable de sortir de plateaux. Mini-batch : 32 à 256 exemples, le compromis standard, efficace en vectorisé.
Bruit utile
Le bruit du SGD n'est pas qu'un défaut : il aide en non-convexe. En convexe pur, le batch suffit. Retenez : même formule w = w - pas * pente, seule change la quantité d'exemples qui estiment la pente.
Pas de correction en ligneConfrontez votre code aux résultats attendus du cours.