Ridge et Lasso

Pénaliser les gros poids

Ridge ajoute alpha * ||w||² : rétrécit tous les poids, stabilise XᵀX + alpha*I toujours inversible. Lasso ajoute alpha * ||w||₁ : annule certains poids, fait de la sélection.

Choix

Colinéarité, p grand, peu d'exemples → Ridge d'abord. Interprétabilité et sélection → Lasso, au prix d'un entraînement itératif. alpha se choisit sur validation/CV, jamais sur test. Rappelez-vous le MAP : c'est l'a priori gaussien (Ridge) ou laplacien (Lasso) du Bloc A.