Glossaire de l’IA
Évaluation (eval)
Une évaluation est un test répétable d’une fonction d’IA : des entrées fixes, une façon de noter chaque sortie, et un score à comparer entre deux versions.
Les sorties d’un modèle varient : une assertion d’égalité exacte marche rarement. Une évaluation lance de nombreux cas et donne un score, par exemple 47 résumés sur 50 contenant le numéro de commande.
Les notes viennent de règles dans le code, d’une comparaison avec une réponse de référence, ou d’un autre modèle juge. D’abord les contrôles par code, peu coûteux ; un juge là où le code ne peut pas trancher.
Lancez les évaluations à chaque changement de prompt, de modèle ou de recherche, comme des tests unitaires. Un changement qui semble meilleur sur trois essais peut être pire sur cinquante.
L’apprendre par la pratique
Ces leçons gratuites l’enseignent avec des commandes à lancer dans un lab et des tâches corrigées. Elles se lisent en entier sans compte.