Initialisation Xavier et He
Garder les variances stables couche par couche.
Zéros = blocage, grand = explosion
Init symétrique identique : neurones jumeaux qui apprennent pareil. Trop grande : activations saturées, gradients nuls ou explosifs. Xavier (Var = 1/fan_in) pour tanh/sigmoïde, He (2/fan_in) pour ReLU : la variance traverse sans s'écraser ni exploser.
Pratique
En PyTorch c'est le défaut des couches bien utilisées, mais notez la graine (torch.manual_seed). Si votre loss démarre à NaN, c'est l'init ou l'échelle d'entrée, pas l'optimiseur.
Pas de correction en ligneConfrontez votre code aux résultats attendus du cours.