Gradient de la logistique

Un gradient lisible

Pour un exemple : p = s(w·x + b), gradient sur w = (p - y) * x, sur b = p - y. Si y = 1 et p = 0,2, on pousse w dans le sens de x avec force 0,8. Si p = 0,95, ajustement minuscule.

p = 1 / (1 + np.exp(-(X @ w + b)))
grad_w = X.T @ (p - y) / len(y) + alpha * w  # + Ridge

Conséquence

Pas de solution fermée : on optimise par gradient/LBFGS. C'est le même (p-y) qui reviendra dans le neurone : la logistique est déjà un neurone isolé.