Seuil, ROC et calibration
Transformer un score en décision au bon seuil.
Score n'est pas décision
Un classifieur sort P(y=1|x). Seuil 0,5 par défaut, à déplacer selon coûts : baisser pour rappeler plus, monter pour être précis. ROC-AUC mesure le tri tous seuils confondus, utile en déséquilibré avec PR-AUC en complément.
from sklearn.metrics import roc_auc_score, precision_recall_curve
print(roc_auc_score(y_test, scores))
Calibration
Une proba 0,8 doit arriver 8 fois sur 10. Courbe de calibration pour vérifier, CalibratedClassifierCV si besoin. Une log-loss basse mais mal calibrée = décisions à revoir.
Pas de correction en ligneConfrontez votre code aux résultats attendus du cours.