LSTM et GRU

Trois portes

Oubli, entrée, sortie : le réseau apprend quoi garder. GRU simplifie à deux portes, souvent aussi bon et plus rapide. Les deux restent séquentiels : lents et limités en très longue portée, d'où les Transformers.

Réglage

Clipping du gradient, dropout récurrent modéré, bidirectionnel pour textes courts classés (pas pour génération causale). Si vos séquences font < 50 pas propres, un LSTM suffit avant tout Transformer.