Entropie, KL et cross-entropy
Mesurer la surprise pour entraîner les classifieurs.
Surprise moyenne
Entropie : incertitude moyenne d'une source. Pièce équilibrée : 1 bit. KL : surcoût quand on prédit avec une fausse distribution. Cross-entropy : entropie vraie + KL, c'est la log-loss des classifieurs.
Pourquoi la log-loss
Prédire 0,9 pour un vrai 1 coûte -log(0,9) ≈ 0,11, prédire 0,1 coûte 2,30. L'erreur confiante est punie fort : d'où son pouvoir d'apprentissage, et son exigence de calibration vue en logistique.
Pas de correction en ligneConfrontez votre code aux résultats attendus du cours.