Tokenisation BPE et vocabulaire

Du texte aux ids

BPE fusionne les paires fréquentes : mots courants = 1 token, rares = plusieurs sous-mots, <unk> rare si vocab bien construit sur train. Vocabulaire figé après train, même règle pad/tronque, max_len noté.

Conséquences

Fertility (tokens/mot) variable selon langue et domaine : devis token et coût. Un tokenizer général sur code/médical sous-découpe : d'où vocabs adaptés. Le test utilise toujours le tokenizer du train : sinon fuite et ids incohérents.