Comparaison IA
Évaluations ou tests unitaires
Les tests unitaires vérifient que le code fait exactement ce qu’il doit à chaque fois ; les évaluations notent une fonction fondée sur un modèle sur de nombreux cas, car ses sorties varient.
| Aspect | Évaluations | Tests unitaires |
|---|---|---|
| Résultat | Un score, par exemple 46 sur 50 | Réussi ou échoué |
| Sortie vérifiée | Un texte variable, jugé par règles, référence ou juge | Une valeur exacte et connue |
| Vitesse et coût | Plus lent, peut appeler un modèle | Rapide et gratuit |
| Quand ça échoue | Regarder quels cas ont empiré | Une assertion précise a cassé |
Choisir Évaluations quand
- La sortie est un texte généré ou une décision de modèle
- Vous comparez prompts, modèles ou réglages de recherche
- Le « suffisant » est un seuil, pas une réponse unique
Choisir Tests unitaires quand
- Le code est déterministe, comme une analyse ou une validation
- Vous vérifiez le code autour du modèle
- Vous voulez un contrôle rapide à chaque enregistrement
L’apprendre par la pratique
Ces leçons gratuites l’enseignent avec des commandes à lancer dans un lab et des tâches corrigées. Elles se lisent en entier sans compte.
Termes liés
- Évaluation (eval)
- Une évaluation est un test répétable d’une fonction d’IA : des entrées fixes, une façon de noter chaque sortie, et un score à comparer entre deux versions.
- Jeu de référence (golden set)
- Un jeu de référence est un ensemble fixe d’entrées avec des bonnes réponses convenues, qui sert d’étalon pour noter une fonction d’IA.
- LLM juge
- Un LLM juge est un modèle de langage chargé de noter la sortie d’un autre modèle selon une grille, quand un simple contrôle par code ne peut pas trancher.