Un juge que personne n’a vérifié
Éprouver un juge, c’est comparer ses notes à celles qu’une personne a données aux mêmes réponses. C’est utile, car un juge est un modèle, et un modèle peut pencher vers la première réponse ou la plus longue sans le dire.
La boutique a maintenant des notes de juge pour ses réponses. Avant de s’y fier, elle doit savoir dans quelle mesure elles s’accordent avec celles de personnes.
À la fin de cette leçon
Remarque
Je peux éprouver un juge contre des notes données par une personne.
Mots-clés
| Mot | Ce que ça veut dire |
|---|---|
| Jeu d’étalonnage | des réponses notées par une personne pour éprouver le juge |
| Accord | la part des notes où juge et personne s’entendent |
| Biais de position | un penchant pour la première ou la seconde case |
| Biais de longueur | un penchant pour les réponses plus longues |
| Échange | juger une paire de nouveau en inversant les deux réponses |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
Éprouver le juge sur un jeu d’étalonnage
Choisissez dix à trente réponses. Une personne les note avec la même grille, sans voir les notes du juge. Puis le juge note les mêmes réponses.
L’accord est la part des réponses où les deux notes coïncident. Comptez aussi celles qui diffèrent d’un point au plus : 2 contre 3 est une petite erreur, 1 contre 3 une grande.
Exemple travaillé : cinq réponses, deux séries de notes
| Réponse | Personne | Juge | Accord |
|---|---|---|---|
| 1 | 3 | 3 | exact |
| 2 | 1 | 1 | exact |
| 3 | 2 | 3 | à un point près |
| 4 | 1 | 3 | écart de deux |
| 5 | 2 | 2 | exact |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
Deux biais à chercher
Biais de position : devant deux réponses, le juge tend à choisir la première case. Testez-le par un échange : demandez de nouveau en inversant les réponses. Un juge juste choisit l’autre case la seconde fois.
Biais de longueur : le juge donne aux réponses longues de meilleures notes que les personnes. Comparez son écart moyen sur les longues et sur les courtes.
Écrire les données d’étalonnage
docker exec -w /home/node/project agent sh -c "printf '%s\n' '// Un jeu d’étalonnage : dix réponses qu’une personne a notées de 1 à 3, puis que le juge a notées.' 'const humain = [3, 1, 2, 2, 1, 2, 3, 1, 1, 2];' 'const juge = [3, 1, 2, 3, 2, 2, 3, 3, 1, 3];' 'const mots = [14, 5, 6, 16, 4, 5, 17, 12, 6, 15];' '// Six paires, chacune jugée deux fois en échangeant les deux réponses. La case choisie chaque fois.' 'const premier = [\"A\", \"A\", \"A\", \"B\", \"A\", \"A\"];' 'const second = [\"B\", \"A\", \"A\", \"A\", \"A\", \"B\"];' 'function pourcent(nombre, total) {' ' return Math.floor(nombre * 100 / total);' '}' 'module.exports = { humain, juge, mots, premier, second, pourcent };' > etalon.js"Affichée ici, non exécutée. Créez un compte gratuit pour appuyer sur Exécuter et la saisir dans le terminal de votre propre labo.
Écrire le script de mesure, partie 1
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const { humain, juge, mots, premier, second, pourcent } = require(\"./etalon\");' 'const longue = 12;' 'let exact = 0;' 'let proche = 0;' 'let ecartLong = 0;' 'let nombreLong = 0;' 'let ecartCourt = 0;' 'let nombreCourt = 0;' 'for (let rang = 0; rang < humain.length; rang = rang + 1) {' ' const ecart = juge[rang] - humain[rang];' ' if (ecart === 0) exact = exact + 1;' ' if (Math.abs(ecart) <= 1) proche = proche + 1;' ' if (mots[rang] >= longue) { ecartLong = ecartLong + ecart; nombreLong = nombreLong + 1; }' ' else { ecartCourt = ecartCourt + ecart; nombreCourt = nombreCourt + 1; }' '}' > mesurer5.js"Affichée ici, non exécutée. Créez un compte gratuit pour appuyer sur Exécuter et la saisir dans le terminal de votre propre labo.
Écrire le script de mesure, partie 2
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'let pareil = 0;' 'for (let rang = 0; rang < premier.length; rang = rang + 1) {' ' if (premier[rang] === second[rang]) pareil = pareil + 1;' '}' 'function virgule(nombre) { return nombre.toFixed(1).replace(\".\", \",\"); }' >> mesurer5.js"Affichée ici, non exécutée. Créez un compte gratuit pour appuyer sur Exécuter et la saisir dans le terminal de votre propre labo.
Écrire le script de mesure, partie 3
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'console.log(\"Accord : \" + pourcent(exact, humain.length) + \" pour cent exact, \" + pourcent(proche, humain.length) + \" pour cent à un point près\");' 'console.log(\"Écart moyen sur les réponses longues : \" + virgule(ecartLong / nombreLong) + \" ; sur les courtes : \" + virgule(ecartCourt / nombreCourt));' 'console.log(\"Même case les deux fois : \" + pareil + \" sur \" + premier.length);' 'const signaux = [];' 'if (pourcent(exact, humain.length) < 70) signaux.push(\"accord faible\");' 'if (pourcent(pareil, premier.length) > 30) signaux.push(\"biais de position\");' 'if (ecartLong / nombreLong > 0.5) signaux.push(\"biais de longueur\");' 'console.log(\"Signaux : \" + (signaux.length ? signaux.join(\", \") : \"aucun\"));' >> mesurer5.js"Affichée ici, non exécutée. Créez un compte gratuit pour appuyer sur Exécuter et la saisir dans le terminal de votre propre labo.
Mesurer le juge
docker exec -w /home/node/project agent node mesurer5.jsAffichée ici, non exécutée. Créez un compte gratuit pour appuyer sur Exécuter et la saisir dans le terminal de votre propre labo.
Ce que la mesure affiche
| Ligne | Ce qu’elle montre |
|---|---|
| Accord | 60 pour cent exact, 90 pour cent à un point près |
| Écart moyen | 0,8 sur les réponses longues et 0,2 sur les courtes |
| Même case | 3 paires sur 6, un penchant pour la première case |
| Signaux | accord faible, biais de position, biais de longueur |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
À vous
Astuce
Dans etalon.js, remplacez la seconde liste par l’inverse de la première : B, B, B, A, B, B. Relancez. Le signal de biais de position doit disparaître.
Une erreur fréquente
Attention
Beaucoup croient qu’un juge d’accord avec les personnes la plupart du temps mérite confiance partout. L’accord ne vaut que pour des cas proches du jeu d’étalonnage. Mesurez-le de nouveau après tout changement de grille, de juge ou de genre de réponse.