Gradient-check numérique
Vérifier une backprop par différences finies.
Énoncé
Sur votre MLP numpy 2 couches : comparez gradient analytique et (L(w+e) - L(w-e)) / 2e avec e = 1e-5 sur 5 poids tirés. Écart relatif < 1e-4 attendu.
Contraintes
Test sur petit réseau et peu de données, en double précision. Désactivez dropout/bruit pendant le check.
Indices
Erreur relative = |a-n| / (|a|+|n|). Si > 1e-3, suspectez ReLU en 0 ou bug d'indice, pas la formule.
Correction disponibleCherchez d’abord par vous-même.Voir la correction
Correction
e = 1e-5
num = (loss(w + e) - loss(w - e)) / (2 * e)
Un check qui passe sur 5 poids puis échoue ailleurs = bug de broadcast : vérifiez les axis et les transposées. C'est le dernier test avant de confier le gradient à PyTorch.