Log-loss et surprise

La formule

Pour y ∈ {0,1}, p prédite : L = -(y log p + (1-y) log(1-p)). Vrai 1 prédit 0,9 → 0,11, prédit 0,1 → 2,30. L'erreur confiante coûte 20 fois plus : c'est ce qui fait apprendre vite et bien, au prix d'une sensibilité aux outliers d'étiquette.

Lien

C'est la cross-entropy du Bloc A et le MLE Bernoulli : minimiser la log-loss = rendre les étiquettes les moins surprenantes. D'où son statut de perte standard en binaire, avant tout réglage de seuil.