Distribué et mixed precision
Répliquer, synchroniser et calculer en FP16.
DDP et AMP
Data-parallel : chaque GPU voit un shard, gradients moyennés. Mixed precision FP16/BF16 + loss scaling : 2x plus vite, moitié mémoire. torchrun, DistributedDataParallel, autocast + GradScaler : le trio minimal.
Quand
Modèle ou batch qui ne tient plus, pas avant. Le distribué ajoute pannes et non-déterminisme : prouvez le besoin par le temps, pas par prestige.
Pas de correction en ligneConfrontez votre code aux résultats attendus du cours.