Backprop à la main

Chaîne sur deux couches

y = h·W2, h = relu(x·W1). dL/dW2 = dL/dy * h, dL/dh = dL/dy * W2, puis dL/dW1 = (dL/dh ⊙ relu') ⊗ x. Chaque couche multiplie l'erreur entrante par sa pente locale : c'est la chain rule du Bloc A, automatisée.

Sens pratique

Erreur grande + pente locale nulle (ReLU éteint, sigmoïde saturée) = gradient nul, poids figé. D'où init et normalisation : garder les activations dans leur zone utile.