Mit Auswertungen eine Korrektur wählen
Auswertungsergebnisse lesen heißt, Fehler nach Art zu gruppieren und dann das Billigste zu ändern, das am meisten behebt. Das zählt, weil jede Änderung manchen Fällen hilft und anderen schaden kann.
Die erste Version der Bibliothek bestand 5 von 10 Fällen. Das Team hat vier Ideen. Nur eine lohnt sich zuerst, und die Ergebnisse sagen, welche.
Am Ende dieser Lektion
Notiz
Ich kann Auswertungsergebnisse lesen und entscheiden, was ich zuerst ändere.
Schlüsselwörter
| Begriff | Was er bedeutet | Beispiel |
|---|---|---|
| Fehlerart | der Grund, warum ein Fall scheiterte | erfunden |
| Kandidat | eine Änderung, die Sie erwägen | |
| Regression | ein Fall, der früher bestand und jetzt scheitert | |
| Kosten pro 1000 | was 1000 Antworten kosten | |
| Billigste Korrektur | die Änderung, die für ihren Gewinn am wenigsten kostet |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Gruppieren Sie die Fehler nach Art
Ein Ergebnis von 5 von 10 sagt, wie viel falsch ist, nicht warum. Gruppieren Sie die fünf Fehler nach Art, und die Arbeit wird klar.
Jede Art hat ihre Ursache und ihre billige Korrektur. Eine Korrektur für eine ganze Art ist besser als fünf Korrekturen für fünf Fälle.
Beispiel: die fünf Fehler
| Art | Fälle | Wahrscheinliche Ursache |
|---|---|---|
| Erfunden | c3, c7 | Der Prompt verbietet das Raten nicht |
| Vage | c5 | Die Frage wurde allgemein beantwortet |
| Abgelehnt | c8 | Der Prompt macht ihn zu vorsichtig |
| Zu lang | c9 | Nichts begrenzt die Länge |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Probieren Sie zuerst die billigste Korrektur
Ordnen Sie die Kandidaten nach Kosten. Eine neue Zeile im Prompt kostet bei jeder Antwort ein wenig, weil der Prompt wächst. Ein größeres Modell kostet bei jeder Antwort etwa das Dreifache.
Starten Sie zuerst die billigste und bewerten Sie sie. Stapeln Sie die nächste nur, wenn das Ergebnis es verlangt.
Beispiel: vier Kandidaten
| Lauf | Änderung | Bestanden | Kosten pro 1000 |
|---|---|---|---|
| v1 | Die erste Version | 5 | 40 |
| v2 | Nur Zahlen vom Blatt verwenden | 7 | 42 |
| v3 | v1, dann in einem Satz antworten | 4 | 42 |
| v4 | v2, dann antworten, wenn das Blatt den Fakt hat | 9 | 44 |
| v5 | v1 mit einem größeren Modell | 7 | 130 |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Hilft einem Fall, schadet zweien
Lauf v3 behebt die zu lange Antwort, c9. Er macht auch c2 und c10 kaputt, die bestanden hatten: Die Ein-Satz-Regel schnitt ihre Zahlen ab. Die Summe fiel von 5 auf 4.
Eine Summe kann das verbergen. Vergleichen Sie die beiden Läufe Fall für Fall und listen Sie auf, was behoben und was kaputt ist.
Ein häufiger Fehler
Warnung
Viele glauben, eine Änderung, die etwas behebt, sei eine gute Änderung. Sehen Sie nach, was sie kaputt gemacht hat. Liefern Sie eine Änderung nur aus, wenn sie nichts Bestandenes kaputt macht oder wenn Sie jeden Bruch bewusst hinnehmen.
Den Ergebnisleser schreiben, Teil 1
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const fs = require(\"fs\");' '// Fünf aufgezeichnete Läufe über die Fälle c1 bis c10. v2: nur Zahlen vom Blatt verwenden.' '// v3: v1 plus in einem Satz antworten. v4: v2 plus antworten, wenn das Blatt den Fakt hat.' '// v5: der erste Prompt mit einem größeren Modell. Die Kosten gelten für 1000 Antworten.' 'const LAEUFE = {' ' v1: { kosten: 40, arten: \"ok ok erfunden ok vage ok erfunden abgelehnt zu_lang ok\" },' ' v2: { kosten: 42, arten: \"ok ok ok ok vage ok ok abgelehnt zu_lang ok\" },' ' v3: { kosten: 42, arten: \"ok vage erfunden ok vage ok erfunden abgelehnt ok vage\" },' ' v4: { kosten: 44, arten: \"ok ok ok ok ok ok ok ok zu_lang ok\" },' ' v5: { kosten: 130, arten: \"ok ok ok ok vage ok ok abgelehnt zu_lang ok\" },' '};' 'for (const name in LAEUFE) LAEUFE[name].arten = LAEUFE[name].arten.split(\" \");' 'fs.writeFileSync(\"laeufe.json\", JSON.stringify(LAEUFE, null, 1));' > analyse.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Den Ergebnisleser schreiben, Teil 2
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'function istOk(art) { return art === \"ok\"; }' 'function fehler(arten) {' ' const aus = {};' ' arten.forEach(function (a) { if (istOk(a) === false) aus[a] = (aus[a] || 0) + 1; });' ' return aus;' '}' 'const basis = LAEUFE.v1.arten;' 'let beste = null;' >> analyse.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Den Ergebnisleser schreiben, Teil 3
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'for (const name in LAEUFE) {' ' const arten = LAEUFE[name].arten;' ' const behoben = [];' ' const kaputt = [];' ' arten.forEach(function (a, i) {' ' if (istOk(basis[i]) === false && istOk(a)) behoben.push(\"c\" + (i + 1));' ' if (istOk(basis[i]) && istOk(a) === false) kaputt.push(\"c\" + (i + 1));' ' });' ' const bestanden = arten.filter(istOk).length;' ' console.log(name, bestanden + \" bestanden\", \"Kosten \" + LAEUFE[name].kosten, \"behoben [\" + behoben + \"]\", \"kaputt [\" + kaputt + \"]\", JSON.stringify(fehler(arten)));' ' if (name === \"v1\" || kaputt.length > 0) continue;' ' const kosten = LAEUFE[name].kosten;' ' if (beste === null || bestanden > beste.bestanden || (bestanden === beste.bestanden && kosten < beste.kosten)) beste = { name, bestanden, kosten };' '}' 'console.log(\"Wahl: \" + beste.name + \" (\" + beste.bestanden + \" bestanden, Kosten \" + beste.kosten + \")\");' >> analyse.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Die fünf Läufe lesen
docker exec -w /home/node/project agent node analyse.jsHier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Was der Run ausgibt
| Zeile | Was sie sagt |
|---|---|
| v1 | 5 bestanden, die Basis: nichts behoben, nichts kaputt |
| v2 | 7 bestanden, c3 und c7 behoben, nichts kaputt |
| v3 | 4 bestanden, c9 behoben, c2 und c10 kaputt |
| v4 | 9 bestanden, vier Fälle behoben, nichts kaputt |
| v5 | 7 bestanden, Kosten 130 |
| Letzte Zeile | Wahl: v4 (9 bestanden, Kosten 44) |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.