Comment évaluer les réponses d'un LLM ?

Pour évaluer les réponses d'un LLM, constituez un jeu de questions de référence, définissez des critères (exactitude, citations, format), et mesurez avant/après chaque changement de prompt ou de modèle. Sans évaluation, vous naviguez à l'aveugle.

Réponse directe

Évaluer un LLM, c'est comparer ses sorties à un référentiel : questions types, réponses attendues ou critères humains. Faites-le à chaque évolution (prompt, modèle, chunking RAG) pour éviter les régressions silencieuses.

Pratique minimale

20–50 questions représentatives de votre usage
Critères simples (correct / partiel / faux + format)
Revue humaine sur les cas critiques
Suivi coût et latence

Erreur fréquente

Se fier au « vibe check » en démo. Les utilisateurs réels exposent des cas limites.

Suite

Qu'est-ce que le RAG ? · Formation IA développeurs.

Sources

Pratiques d'eval LLM / RAG dans l'industrie (rapports et docs outillage 2024–2026).