Règles de dérivation utiles en ML

Quatre règles suffisent pour démarrer

Avec c constante et u(w) fonction :

(c)' = 0
(w²)' = 2w
(c*u)' = c*u'
(u+v)' = u' + v'
(exp u)' = u' * exp u
(log u)' = u' / u

Exemples : (3w² + 2w)' = 6w + 2. Pour L = (w*x - y)² à x, y fixés : L' = 2*x*(w*x - y). C'est exactement le terme qui servira dans la régression.

À pratiquer

Dérivez (w - 3)², (2w + 1)², exp(-w), log(1 + exp(w)) sur papier. Vérifiez numériquement avec (f(w+0,001) - f(w)) / 0,001. Si l'écart dépasse 1 %, cherchez l'erreur de calcul avant d'accuser la formule.