Inférence locale maîtrisée
Température, top-k/p, stop et graines.
Énoncé
Avec un petit modèle local (librairie Hugging Face transformers : AutoTokenizer + AutoModelForCausalLM.from_pretrained, installée et versionnée en local, CPU accepté) : générez 5 réponses à température 0 puis 0,8, top_p 0,9, stop et max_tokens fixés, graine notée. Comparez stabilité et diversité.
Contraintes
Modèle et tokenizer versionnés, prompts figés, sorties sauvegardées. Aucun code élève envoyé à la plateforme : tout en local.
Indices
do_sample=False = déterministe, temperature/top_p seulement si échantillonnage. set_seed(0) + max_new_tokens petit pour le budget.
Correction disponibleCherchez d’abord par vous-même.Voir la correction
Correction
Temp 0 : mêmes tokens, factuel et répétitif. Temp 0,8 : varié, parfois divergent. Moralité : bench à temp 0, démo à temp > 0, jamais l'inverse. Notez les deux dans chaque rapport.