Glossaire de l’IA
LLM juge
Un LLM juge est un modèle de langage chargé de noter la sortie d’un autre modèle selon une grille, quand un simple contrôle par code ne peut pas trancher.
On lui donne l’entrée, la sortie et une courte grille : « La réponse n’utilise-t-elle que des faits de la source ? Réponds réussi ou échoué, avec une raison. » Il note ensuite beaucoup de sorties vite.
Les juges ont des biais connus : ils préfèrent les réponses longues, la première de deux options et leur propre style. Une grille fixe, un réussi ou échoué plutôt qu’une note sur 10 et l’inversion de l’ordre aident.
Vérifiez le juge lui-même : notez un échantillon à la main et comparez. Un juge souvent en désaccord avec les humains mesure autre chose.
L’apprendre par la pratique
Ces leçons gratuites l’enseignent avec des commandes à lancer dans un lab et des tâches corrigées. Elles se lisent en entier sans compte.