Présentation du cours
Pipelines d’évaluation pour RAG : génération de jeux synthétiques, métriques de récupération (recall, precision, MRR, nDCG) et de génération (faithfulness, helpfulness, correctness), plus calibration et biais des LLMs-juges. Approche pratique pour mesurer et comparer.
Explique comment concevoir jeux de données synthétiques ciblés pour tester scénarios de RAG et faciliter des diagnostics reproductibles.
Définit les métriques de récupération — recall, precision, MRR, nDCG — et leur interprétation pour évaluer la couverture et le classement.
Présente les métriques de génération axées sur la fidélité et l’utilité, et examine l’utilisation d’un LLM comme évaluateur, avec ses limites de calibration et biais.
Compétences et thèmes abordés
Accéder à la plateforme
Accédez au catalogue pour consulter le détail des cours, les conditions d’accès et votre progression personnelle. Se connecter.