Décodeur causal et masque

Causalité stricte

Chaque position n'assiste qu'au passé : masque triangulaire dans QKᵀ, décalage des cibles d'un cran (teacher forcing en train). En génération on boucle : échantillonne, concatène, recommence jusqu'à stop ou max_tokens.

KV-cache

Clés/valeurs passées mises en cache : génération en O(1) par token après pré-remplissage. Sans cache, coût quadratique à chaque pas : d'où son statut standard en inférence locale.