Monitoring des embeddings
Surveiller dérive d'entrée et perf retardée.
Signaux avancés
Distance entre embeddings prod et référence, taux d'inconnus tokenizer/vocab, part de refus RAG, labels faibles (règles, juges) en attendant la vérité. Alertes avec responsable et runbook : sans cela, le monitoring est un dashboard que personne ne lit.
Boucle
Échantillon annoté périodique pour vraie perf, réentraînement daté et comparé challenger/champion. Un modèle qui ne se réévalue jamais est déjà obsolète.
Pas de correction en ligneConfrontez votre code aux résultats attendus du cours.