Exp, log et pourquoi on prend le log

Exp et log, en une image

exp(x) = croissance qui accélère (exp(0) = 1, exp(1) ≈ 2,72). log = l'opération inverse : log(exp(x)) = x. En ML on utilise le log népérien (ln, base e), noté log.

Deux règles qui reviennent partout :

log(a * b) = log(a) + log(b)
log(exp(x)) = x

Pourquoi le log en ML ?

Les probabilités se multiplient (0,5 * 0,5 * 0,5 = 0,125) : nombres minuscules, illisibles. Le log transforme le produit en somme, croissante pareil : maximiser la proba ou son log donne le même gagnant, mais la somme ne s'écrase pas vers zéro.

p = 0,75 : -log(p) ≈ 0,29
p = 0,10 : -log(p) ≈ 2,30

Se tromper avec confiance (p = 0,10 sur la bonne réponse) coûte cher : c'est l'idée de la log-loss du chapitre classification, et du maximum de vraisemblance du chapitre probas.