Chain rule, du neurone à la backprop

L'idée en une ligne

Si y = 2w + 1 puis L = (y - 5)², alors dL/dw = dL/dy * dy/dw. Pour w = 1 : y = 3, dL/dy = 2*(3-5) = -4, dy/dw = 2, donc dL/dw = -8.

On remonte le calcul à l'envers : erreur en sortie, fois pente locale de chaque étape. C'est la backpropagation.

Vers la logistique et le MLP

Sigmoïde s(z) = 1/(1+exp(-z)), s' = s*(1-s). Erreur log-loss fois cette pente donne le gradient d'un neurone. Empilez deux couches et vous réappliquez la même règle deux fois : aucune magie, juste des produits en chaîne. Le chapitre deep ne fera qu'automatiser cela.