Ein Daumen nach unten ist ein Testfall gratis
Eine Feedbackschleife macht aus dem, was Nutzer über Antworten sagen, Fälle, mit denen Sie jede Änderung testen. Das ist wichtig, weil Nutzer die Fragen finden, an die Sie nie dachten. Ein Daumen nach unten mit Korrektur ist der beste Testfall, den es gibt.
Er enthält aber auch persönliche Worte. Entscheiden Sie also, wer ihn sehen darf und wie lange er bleibt.
Am Ende dieser Lektion
Notiz
Ich kann das, was Nutzer über Antworten sagen, in bessere Fälle verwandeln.
Schlüsselwörter
| Begriff | Was er bedeutet |
|---|---|
| Feedback | eine Bewertung oder Korrektur, die ein Nutzer einer Antwort gibt |
| Korrektur | die Antwort, die laut Nutzer richtig gewesen wäre |
| Fall | eine Frage mit der erwarteten Antwort |
| Aufbewahrung | wie lange ein Eintrag bleibt, bevor er gelöscht wird |
| Zugriff | wer einen Eintrag lesen darf |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Eine Korrektur wird zum Fall
Nicht jedes Feedback ist ein Fall. Ein Daumen nach unten ohne Korrektur sagt, dass etwas falsch ist, aber nicht, was richtig wäre. Ein Daumen nach oben hat nichts zu beheben.
Behalten Sie die Frage und die korrigierte Antwort. Lassen Sie weg, wer es sagte. Ein Fall mit Nutzerkennung oder E-Mail-Adresse enthält personenbezogene Daten, die Sie nun schützen müssen.
Durchgerechnetes Beispiel: drei Rückmeldungen
| Bewertung | Korrektur | Wird es ein Fall? |
|---|---|---|
| runter | Sonntags um 18 Uhr. | Ja: die Frage und diese Antwort |
| runter | (keine) | Nein: nichts zu erwarten |
| hoch | (keine) | Nein: nichts zu beheben |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Entscheiden Sie, wer es sieht und wie lange
Das rohe Feedback gehört den wenigen Personen, die die Funktion verbessern. Die daraus gebauten Fälle dürfen ins ganze Team, weil sie niemanden enthalten.
Legen Sie ein Aufbewahrungsalter fest und löschen Sie rohes Feedback danach. Im Run ist das Alter eine Zahl im Eintrag, daher sehen alle dasselbe Ergebnis. Ein echtes System vergleicht Datumsangaben.
Ein häufiger Fehler
Warnung
Viele glauben, mehr Feedback länger zu behalten sei immer besser. Rohes Feedback enthält, was Menschen getippt haben, manchmal Persönliches. Behalten Sie den Fall, löschen Sie den Rest nach Plan und schreiben Sie die Dauer auf.
Modell-Helfer schreiben, Teil 1
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const basis = process.env.AI_URL || \"http://ai:4000\";' '// Die Token einer Antwort oder null, wenn sie keine nennt.' 'function zaehlen(daten, name) {' ' return daten.usage && typeof daten.usage[name] === \"number\" ? daten.usage[name] : null;' '}' > model.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Modell-Helfer schreiben, Teil 2
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function fragen(nachrichten, probe, max) {' ' try {' ' const res = await fetch(basis + \"/v1/chat/completions\", {' ' method: \"POST\",' ' headers: { \"content-type\": \"application/json\", authorization: \"Bearer lab\" },' ' body: JSON.stringify({ model: \"lab\", messages: nachrichten, max_tokens: max || 100 }),' ' signal: AbortSignal.timeout(30000),' ' });' ' if (res.ok === false) throw new Error(\"Status \" + res.status);' ' const d = await res.json();' ' return { text: d.choices[0].message.content, eingabe: zaehlen(d, \"prompt_tokens\"), ausgabe: zaehlen(d, \"completion_tokens\"), aufgezeichnet: false };' ' } catch (fehler) {' ' console.log(\"Aufgezeichnete Probe: Kein Modell hat geantwortet (\" + fehler.message + \").\");' ' return { text: probe, eingabe: null, ausgabe: null, aufgezeichnet: true };' ' }' '}' 'module.exports = { fragen };' >> model.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Feedbackschleife schreiben, Teil 1
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const { fragen } = require(\"./model\");' '' 'const MAX_TAGE = 30; // älteres Feedback wird gelöscht' 'const feedback = [' ' { id: \"f1\", bewertung: \"runter\", frage: \"Wann schließt der Laden?\", korrektur: \"Sonntags um 18 Uhr.\", nutzer: \"u17\", alter: 3 },' ' { id: \"f2\", bewertung: \"hoch\", frage: \"Wo ist meine Bestellung?\", korrektur: \"\", nutzer: \"u22\", alter: 5 },' ' { id: \"f3\", bewertung: \"runter\", frage: \"Kann ich Schuhe zurückgeben?\", korrektur: \"\", nutzer: \"u31\", alter: 12 },' ' { id: \"f4\", bewertung: \"runter\", frage: \"Liefern Sie nach Österreich?\", korrektur: \"Ja, in 3 Tagen.\", nutzer: \"u40\", alter: 45 },' '];' > feedback.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Feedbackschleife schreiben, Teil 2
docker exec -w /home/node/project agent sh -c "printf '%s\n' '// Ein Fall enthält die Frage und die erwartete Antwort, nie den Nutzer.' 'function zuFall(f) {' ' if (f.bewertung === \"runter\" && f.korrektur.length > 0) return { id: f.id, frage: f.frage, erwartet: f.korrektur };' ' return null;' '}' >> feedback.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Feedbackschleife schreiben, Teil 3
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function main() {' ' feedback.forEach(function (f) {' ' if (f.alter > MAX_TAGE) {' ' console.log(f.id + \": älter als \" + MAX_TAGE + \" Tage, gelöscht\");' ' return;' ' }' ' const c = zuFall(f);' ' console.log(f.id + \": \" + (c ? \"neuer Fall: \" + c.frage + \" -> \" + c.erwartet : \"kein Fall\"));' ' });' ' const q = \"Was soll ein Test dieses Falls in einem Satz prüfen? Frage: Wann schließt der Laden? Erwartet: Sonntags um 18 Uhr.\";' ' const r = await fragen([{ role: \"user\", content: q }], \"Er soll prüfen, dass die Antwort 18 Uhr nennt und den Sonntag erwähnt.\", 60);' ' console.log(\"Eine mögliche Prüfung: \" + r.text);' '}' 'main();' >> feedback.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Feedbackschleife ausführen
docker exec -w /home/node/project agent node feedback.jsHier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Eine mögliche Ausgabe
| Zeile | Was sie zeigt |
|---|---|
| f1: neuer Fall: Wann schließt der Laden? -> ... | Ein junges Runter mit Korrektur |
| f2: kein Fall und f3: kein Fall | Ein Daumen hoch, und ein Runter ohne Korrektur |
| f4: älter als 30 Tage, gelöscht | Die Aufbewahrungsregel angewendet |
| Eine mögliche Prüfung: ... | Ihr eigener Aufruf. Er ändert sich bei jedem Lauf oder zeigt Aufgezeichnete Probe |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.