Moindres carrés à la main

Minimiser les carrés

Pour X = [1, 2, 3], y = [2, 4, 5] : on cherche a, b qui minimisent somme (a*x + b - y)². Moyennes x̄ = 2, ȳ = 3,67. Pente a = Cov(x,y) / Var(x) = 1,5, origine b = ȳ - a*x̄ = 0,67.

Prédictions [2,17, 3,67, 5,17], résidus [-0,17, 0,33, -0,17], somme nulle par construction de l'origine. C'est la solution exacte du cas 1D : tout le reste (numpy, sklearn) ne fait que généraliser ce calcul.

Limite

Dès que p > 1 ou que la relation est courbe, la formule 1D ne suffit plus : il faut la version matricielle vue juste après.