Fabriquer des cas d’évaluation synthétiques

Générer des cas de test sans tricher

Des données d’évaluation synthétiques sont des cas de test fabriqués par un programme. Écrire mille cas à la main est long, donc les équipes les génèrent à partir de gabarits.

Des cas fabriqués peuvent se répéter, ou donner leur propre réponse. Cette leçon fabrique des cas à partir d’une graine et retire les mauvais.

À la fin de cette leçon

Remarque

Je peux fabriquer de nouveaux cas à partir d’une graine et dire qu’ils ne sont pas des copies.

Mots clés

Mot	Ce que ça veut dire	Exemple
Gabarit	une phrase à trous qu’il faut remplir	Échanger ma {objet}
Graine	un nombre de départ qui fait se répéter un générateur
Quasi-doublon	un cas presque identique à un autre
Fuite	un cas qui donne sa réponse ou son texte d’entraînement
Similarité	la part de mots que deux textes partagent, en pourcentage

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

Un gabarit et une graine fabriquent des cas

Un gabarit est une phrase à trous, comme « Échanger ma {objet} ». Une liste d’objets remplit le trou. Chaque gabarit a une étiquette : la réponse qu’une bonne fonction doit donner.

Une graine est un nombre qui lance un compteur. La même graine choisit toujours les mêmes gabarits et les mêmes objets, donc les cas se répètent.

Exemple détaillé : un générateur à graine

Étape	Ce qui se passe
Départ	La graine est le premier nombre
Tirage	Multipliez par 16807, gardez le reste de la division par 2147483647
Choix	Divisez ce nombre par la taille de la liste et gardez le reste
Remplissage	Mettez l’objet choisi dans le trou
Répétition	La même graine donne les mêmes cas à chaque fois

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

Les quasi-doublons gonflent un jeu

Deux cas qui ne diffèrent que d’un mot n’apprennent rien de nouveau. Comptez les mots qu’ils partagent. Divisez par tous les mots différents des deux textes.

À partir de 80 %, on parle de quasi-doublon. Gardez le premier cas et rejetez le suivant.

Une erreur courante

Attention

Beaucoup pensent que plus de cas générés fait toujours un meilleur test. Si la plupart sont des copies, le jeu est plus petit qu’il n’en a l’air. Ne comptez que les cas qui ne sont pas des quasi-doublons.

Deux sortes de fuite gâchent un test

Une fuite de la réponse est un cas qui contient sa propre étiquette, comme « Merci de traiter le remboursement de ma lampe » avec l’étiquette remboursement. Une fonction peut réussir en repérant le mot.

Une fuite d’entraînement est un cas qui reprend un texte déjà vu par la fonction. Une bonne note dessus prouve la mémoire, pas la compétence.