Pertes en deep

Une perte par tâche

Régression : MSE. Binaire : log-loss sur sigmoïde. Multi-classes : softmax + cross-entropy : p_i = exp(z_i)/somme exp(z_j), perte -log p_classe. Softmax : probas positives qui somment à 1, écarts amplifiés.

Stabilité

Calculez softmax en retranchant max(z) : exp(z - max) évite l'overflow sans changer le résultat. Une loss NaN en deep vient presque toujours d'un exp/log non stabilisé ou d'un pas trop grand.