Attention dot-product

Requêtes, clés, valeurs

Attention(Q,K,V) = softmax(QKᵀ/√d) V : chaque position interroge toutes les autres, pondère par similarité, mélange les valeurs. Masque causal en génération (pas de futur), padding masqué en classif.

Lecture

Poids d'attention = où le modèle regarde, pas pourquoi au sens causal. Multi-têtes = plusieurs regards en parallèle. C'est ce mécanisme qui a remplacé la récurrence en longues portées.