Pré-entraînement et fine-tune

Deux phases

Pré-entraînement : prédiction du token suivant sur masse de texte, savoir large et coûteux. Fine-tune : poursuite sur instructions ou tâche, petit lr, peu d'époques, val qui pilote l'arrêt. Prompt seul = consigne textuelle sans entraînement (zéro/few-shot, temp 0 en bench) : tout fine-tune sans cette baseline prompt est non concluant.

Hygiène

Jeu de fine-tune dédupliqué du test, contamination vérifiée (n-grams), graines et versions du backbone notées. Un gain sans ces contrôles = mémorisation du test, pas apprentissage.