Évaluer un RAG

Trois axes

Rappel retrieval : la bonne source est-elle dans le top-k ? Fidélité : chaque phrase est-elle soutenue par une citation ? Utilité : la réponse aide-t-elle vraiment (juges humains, ou second LLM qui note avec grille fixe + accord mesuré contre juges humains, car un juge non calibré favorise les réponses longues). Un RAG à 90 % de rappel et 60 % de fidélité = générateur qui brode : resserrez le prompt et le rerank.

Jeu de test

Questions avec passages gold, négatifs et pièges hors-base. Sans gold figé et versionné, vos itérations sont des opinions.