Baseline simple d'abord
Battre la moyenne avant de complexifier.
Énoncé
Sur votre jeu : calculez la baseline (moyenne/médiane en régression, classe majoritaire en classif) sur train, évaluez sur test avec la bonne métrique, notez le score à battre. Un modèle qui ne bat pas la baseline est rejeté.
Contraintes
Baseline apprise sur train uniquement, même métrique que les modèles suivants, unités notées.
Indices
DummyRegressor(strategy="median") et DummyClassifier(strategy="most_frequent") sont les références constantes introduites dans cette leçon : médiane du train et classe majoritaire du train. Les modèles riches (régression Ch15, logistique Ch16, arbres Ch18) viendront après.
Correction disponibleCherchez d’abord par vous-même.Voir la correction
Correction
from sklearn.dummy import DummyRegressor
d = DummyRegressor(strategy="median").fit(X_train, y_train)
pred = d.predict(X_test)
mae = sum(abs(a - b) for a, b in zip(y_test, pred)) / len(y_test)
print(round(mae, 3))
DummyRegressor est la référence constante de sklearn introduite ici (médiane du train). La fonction mean_absolute_error de sklearn sera revue au Ch14 mia-evaluation ; ici la MAE est calculée à la main pour ne rien utiliser avant explication.
90 % juste avec 91 % de classe majoritaire = modèle inutile. C'est ce garde-fou qui évitera les fausses victoires dans tous les projets.