MAP et lien avec la régularisation

A priori + données

Le MAP ajoute une proba a priori sur les paramètres : on préfère les petits poids sauf preuve contraire. Avec un a priori gaussien on retrouve Ridge (L2), avec un laplacien on retrouve Lasso (L1).

Moralité

Régulariser n'est pas bricoler : c'est dire "je crois aux modèles simples jusqu'à preuve du contraire". Peu de données = a priori fort, beaucoup de données = données qui dominent. C'est ce curseur que règle alpha en sklearn.