Perceptron et activations
De la somme pondérée au neurone non linéaire.
Sans non-linéarité, pas de profondeur
Perceptron : s(w·x + b) avec seuil/sigmoïde. Deux couches linéaires sans activation = une seule couche : d'où ReLU max(0,z), sigmoïde, tanh. ReLU : pente 0 ou 1, simple et efficace, neurones parfois morts. Sigmoïde/tanh : saturent, utiles en sortie (proba) plus qu'en caché.
Géométrie
Un neurone = une frontière linéaire + bascule douce ou dure. Un MLP = des bascules combinées : avec assez de neurones on approche des formes complexes. C'est cette composition apprise qui motive la backprop.
Pas de correction en ligneConfrontez votre code aux résultats attendus du cours.