Transformer encodeur
Blocs attention + MLP avec positions.
Sans récurrence
Encodage positionnel (sinus ou appris) + N blocs Attention → Add&Norm → MLP → Add&Norm. Parallélisable, longue portée native, gourmand en données et calcul (O(L²)).
Usage sobre
En petit data : petit Transformer ou LSTM + embeddings pré-entraînés. En 2026, le réflexe ingénieur inclut les LLM pré-entraînés, mais ce cursus exige d'abord de comprendre l'encodeur nu avant toute API : d'où l'atelier suivant sans LLM externe.
Pas de correction en ligneConfrontez votre code aux résultats attendus du cours.