Ein Richter, den niemand geprüft hat
Einen Richter prüfen heißt, seine Bewertungen mit denen zu vergleichen, die eine Person denselben Antworten gab. Das lohnt sich, weil ein Richter ein Modell ist und ein Modell zur ersten oder zur längsten Antwort neigen kann, ohne es zu sagen.
Der Shop hat jetzt Richterbewertungen für seine Antworten. Bevor er ihnen traut, muss er wissen, wie weit sie mit Menschen übereinstimmen.
Am Ende dieser Lektion
Notiz
Ich kann einen Richter an Bewertungen prüfen, die eine Person gab.
Schlüsselwörter
| Begriff | Was er bedeutet |
|---|---|
| Kalibriermenge | Antworten, die eine Person bewertete, um den Richter zu prüfen |
| Übereinstimmung | der Anteil der Bewertungen, in denen Richter und Person gleich liegen |
| Positionsverzerrung | eine Neigung zum ersten oder zweiten Platz |
| Längenverzerrung | eine Neigung zu längeren Antworten |
| Vertauschung | ein Paar erneut beurteilen, mit getauschten Antworten |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Den Richter an einer Kalibriermenge prüfen
Wählen Sie zehn bis dreißig Antworten. Eine Person bewertet sie mit demselben Raster, ohne die Bewertungen des Richters zu sehen. Dann bewertet der Richter dieselben Antworten.
Die Übereinstimmung ist der Anteil der Antworten, in denen beide Bewertungen gleich sind. Zählen Sie auch die, die um höchstens einen Punkt abweichen: 2 gegen 3 ist ein kleiner Fehler, 1 gegen 3 ein großer.
Ausgearbeitetes Beispiel: fünf Antworten, zwei Bewertungsreihen
| Antwort | Person | Richter | Treffer |
|---|---|---|---|
| 1 | 3 | 3 | genau |
| 2 | 1 | 1 | genau |
| 3 | 2 | 3 | auf einen Punkt |
| 4 | 1 | 3 | um zwei daneben |
| 5 | 2 | 2 | genau |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Zwei Verzerrungen, nach denen man sucht
Positionsverzerrung: Bei zwei Antworten neigt der Richter zum ersten Platz. Prüfen Sie es durch eine Vertauschung: Fragen Sie erneut mit getauschten Antworten. Ein fairer Richter wählt beim zweiten Mal den anderen Platz.
Längenverzerrung: Der Richter gibt langen Antworten bessere Bewertungen als Menschen. Vergleichen Sie seine mittlere Abweichung bei langen und bei kurzen Antworten.
Die Kalibrierdaten schreiben
docker exec -w /home/node/project agent sh -c "printf '%s\n' '// Eine Kalibriermenge: zehn Antworten, die eine Person mit 1 bis 3 bewertete, danach der Richter.' 'const mensch = [3, 1, 2, 2, 1, 2, 3, 1, 1, 2];' 'const richter = [3, 1, 2, 3, 2, 2, 3, 3, 1, 3];' 'const woerter = [14, 5, 6, 16, 4, 5, 17, 12, 6, 15];' '// Sechs Paare, jedes zweimal beurteilt, mit vertauschten Antworten. Der gewählte Platz jedes Mal.' 'const erste = [\"A\", \"A\", \"A\", \"B\", \"A\", \"A\"];' 'const zweite = [\"B\", \"A\", \"A\", \"A\", \"A\", \"B\"];' 'function prozent(anzahl, gesamt) {' ' return Math.floor(anzahl * 100 / gesamt);' '}' 'module.exports = { mensch, richter, woerter, erste, zweite, prozent };' > kalibrier.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Das Messskript schreiben, Teil 1
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const { mensch, richter, woerter, erste, zweite, prozent } = require(\"./kalibrier\");' 'const lang = 12;' 'let genau = 0;' 'let nah = 0;' 'let abwLang = 0;' 'let anzLang = 0;' 'let abwKurz = 0;' 'let anzKurz = 0;' 'for (let stelle = 0; stelle < mensch.length; stelle = stelle + 1) {' ' const abweichung = richter[stelle] - mensch[stelle];' ' if (abweichung === 0) genau = genau + 1;' ' if (Math.abs(abweichung) <= 1) nah = nah + 1;' ' if (woerter[stelle] >= lang) { abwLang = abwLang + abweichung; anzLang = anzLang + 1; }' ' else { abwKurz = abwKurz + abweichung; anzKurz = anzKurz + 1; }' '}' > messen5.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Das Messskript schreiben, Teil 2
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'let gleich = 0;' 'for (let stelle = 0; stelle < erste.length; stelle = stelle + 1) {' ' if (erste[stelle] === zweite[stelle]) gleich = gleich + 1;' '}' 'function komma(zahl) { return zahl.toFixed(1).replace(\".\", \",\"); }' >> messen5.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Das Messskript schreiben, Teil 3
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'console.log(\"Übereinstimmung: \" + prozent(genau, mensch.length) + \" Prozent genau, \" + prozent(nah, mensch.length) + \" Prozent auf einen Punkt\");' 'console.log(\"Mittlere Abweichung bei langen Antworten: \" + komma(abwLang / anzLang) + \" und bei kurzen: \" + komma(abwKurz / anzKurz));' 'console.log(\"Beide Male derselbe Platz: \" + gleich + \" von \" + erste.length);' 'const warnungen = [];' 'if (prozent(genau, mensch.length) < 70) warnungen.push(\"geringe Übereinstimmung\");' 'if (prozent(gleich, erste.length) > 30) warnungen.push(\"Positionsverzerrung\");' 'if (abwLang / anzLang > 0.5) warnungen.push(\"Längenverzerrung\");' 'console.log(\"Warnungen: \" + (warnungen.length ? warnungen.join(\", \") : \"keine\"));' >> messen5.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Den Richter messen
docker exec -w /home/node/project agent node messen5.jsHier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Was die Messung ausgibt
| Zeile | Was sie zeigt |
|---|---|
| Übereinstimmung | 60 Prozent genau, 90 Prozent auf einen Punkt |
| Mittlere Abweichung | 0,8 bei langen und 0,2 bei kurzen Antworten |
| Derselbe Platz | 3 von 6 Paaren, eine Neigung zum ersten Platz |
| Warnungen | geringe Übereinstimmung, Positionsverzerrung, Längenverzerrung |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Probieren Sie es
Tipp
Ersetzen Sie in kalibrier.js die zweite Liste durch das Gegenteil der ersten: B, B, B, A, B, B. Starten Sie erneut. Die Warnung zur Positionsverzerrung muss verschwinden.
Ein häufiger Fehler
Warnung
Viele glauben, ein Richter, der meistens mit Menschen übereinstimmt, verdiene überall Vertrauen. Die Übereinstimmung gilt nur für Fälle wie die der Kalibriermenge. Messen Sie sie nach jeder Änderung von Raster, Richter oder Antwortart neu.