Embeddings de mots
Des one-hot creux aux vecteurs denses de sens.
Proches en sens = proches en vecteur
Embedding(vocab, dim) appris avec la tâche : roi - homme + femme ≈ reine dans les bons cas. Padding idx 0, dim 50-300, pré-entraînés (GloVe/fastText) utiles en petit data.
nn.Embedding(num_embeddings=5000, embedding_dim=100, padding_idx=0)
Hygiène
Vocabulaire construit sur train seul, <unk> pour inconnus, longueurs/padding gérés. Un vocab qui voit le test = fuite silencieuse.
Pas de correction en ligneConfrontez votre code aux résultats attendus du cours.