Wie man einen Änderungsplan prüft
Ein Änderungsplan ist ein kurzes Dokument, das sagt, was sich ändert, warum es sicher ist und wie man es rückgängig macht. Eine Änderungsprüfung kontrolliert den Plan, bevor etwas live geht.
Andere Lektionen prüfen eine ganze Funktion. Diese Lektion prüft eine einzelne Änderung mit einer Checkliste, die eine klare Antwort gibt: freigeben, nachbessern oder stopp.
Am Ende dieser Lektion
Notiz
Ich kann einen Änderungsplan prüfen, bevor er live geht.
Schlüsselwörter
| Begriff | Was er bedeutet |
|---|---|
| Änderungsplan | ein kurzes Dokument, das sagt, was sich ändert und wie man es rückgängig macht |
| Nachweis | Ergebnisse, die zeigen, dass die Änderung nicht schlechter ist |
| Einführung | wie die Änderung die Nutzer erreicht, in Stufen |
| Rückweg | die Schritte, die die Änderung rückgängig machen |
| Freigabe | die Person, die ja sagt |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Ein Plan braucht fünf Teile
Die fünf Teile sind die Änderung, der Nachweis, die Einführung, der Rückweg und die Freigabe. Ein Plan mit einem fehlenden Teil ist nicht bereit, und die Prüfung sagt, welcher Teil fehlt.
Suchen Sie zuerst nach fehlenden Teilen. Es hat keinen Sinn, die Zahlen eines Teils zu prüfen, den es nicht gibt.
Jeder Teil hat eine geschriebene Grenze
Schreiben Sie die Grenzen, bevor Sie einen Plan lesen. Der Nachweis braucht mindestens 100 Fälle und keinen Rückgang der Erfolgsquote. Die Einführung beginnt bei höchstens 10 Prozent, mit mindestens 50 Anfragen.
Der Rückweg ist getestet und dauert höchstens 15 Minuten. Die Freigabe stammt nicht von der Autorin oder dem Autor.
Durchgerechnetes Beispiel: zwei Pläne gegen die Grenzen
| Regel | Prompt v7 | Modellwechsel |
|---|---|---|
| Mindestens 100 Fälle | 240, besteht | 60, scheitert |
| Kein Rückgang der Quote | 71 auf 74, besteht | 80 auf 76, scheitert |
| Start bei höchstens 10 Prozent | 5, besteht | 50, scheitert |
| Mindestens 50 Anfragen | 50, besteht | 0, scheitert |
| Rückweg getestet, höchstens 15 Minuten | Ja, 10 | Nein, 30. Scheitert zweimal |
| Freigabe nicht vom Autor | Jonas, besteht | Meike schrieb es, scheitert |
| Entscheidung | Freigeben | Stopp |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Ein häufiger Fehler
Warnung
Viele denken, ein Plan mit guten Zahlen sei bereit. Zahlen zeigen nicht, dass der Rückweg funktioniert. Ein Rückweg, den nie jemand versucht hat, kann scheitern, wenn man ihn braucht. Darum fragt die Prüfung, ob er getestet wurde und wie lange er dauerte.
Die Modellhilfe schreiben, Teil 1
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const basis = process.env.AI_URL || \"http://ai:4000\";' '// Die Token einer Antwort oder null, wenn sie keine nennt.' 'function zaehlen(daten, name) {' ' return daten.usage && typeof daten.usage[name] === \"number\" ? daten.usage[name] : null;' '}' > model.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Die Modellhilfe schreiben, Teil 2
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function fragen(nachrichten, probe, max) {' ' try {' ' const res = await fetch(basis + \"/v1/chat/completions\", {' ' method: \"POST\",' ' headers: { \"content-type\": \"application/json\", authorization: \"Bearer lab\" },' ' body: JSON.stringify({ model: \"lab\", messages: nachrichten, max_tokens: max || 100 }),' ' signal: AbortSignal.timeout(30000),' ' });' ' if (res.ok === false) throw new Error(\"Status \" + res.status);' ' const d = await res.json();' ' return { text: d.choices[0].message.content, eingabe: zaehlen(d, \"prompt_tokens\"), ausgabe: zaehlen(d, \"completion_tokens\"), aufgezeichnet: false };' ' } catch (fehler) {' ' console.log(\"Aufgezeichnete Probe: Kein Modell hat geantwortet (\" + fehler.message + \").\");' ' return { text: probe, eingabe: null, ausgabe: null, aufgezeichnet: true };' ' }' '}' 'module.exports = { fragen };' >> model.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Das Prüfskript schreiben, Teil 1
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const { fragen } = require(\"./model\");' 'const plaene = {' ' \"Prompt v7\": { aenderung: \"neuer Erstattungs-Prompt\", nachweis: { faelle: 240, vorher: 71, nachher: 74 },' ' einfuehrung: { start: 5, min_anfragen: 50 }, rueckweg: { minuten: 10, getestet: true }, freigabe: \"Jonas\", autor: \"Meike\" },' ' \"Modellwechsel\": { aenderung: \"neues Modell\", nachweis: { faelle: 60, vorher: 80, nachher: 76 },' ' einfuehrung: { start: 50, min_anfragen: 0 }, rueckweg: { minuten: 30, getestet: false }, freigabe: \"Meike\", autor: \"Meike\" },' ' \"Tonanpassung\": { aenderung: \"freundlicherer Ton\", nachweis: { faelle: 150, vorher: 70, nachher: 70 },' ' einfuehrung: { start: 10, min_anfragen: 50 }, freigabe: \"Jonas\", autor: \"Meike\" },' '};' > pruefen.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Das Prüfskript schreiben, Teil 2
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'function probleme(p) {' ' const teile = [\"aenderung\", \"nachweis\", \"einfuehrung\", \"rueckweg\", \"freigabe\"];' ' const aus = teile.filter(function (t) { return p[t] === undefined; }).map(function (t) { return t + \" fehlt\"; });' ' if (p.nachweis && p.nachweis.faelle < 100) aus.push(\"Nachweis zu klein\");' ' if (p.nachweis && p.nachweis.nachher < p.nachweis.vorher) aus.push(\"Nachweis zeigt Rückschritt\");' ' if (p.einfuehrung && p.einfuehrung.start > 10) aus.push(\"Einführung startet zu groß\");' ' if (p.einfuehrung && p.einfuehrung.min_anfragen < 50) aus.push(\"Einführung ohne Mindestmenge\");' ' if (p.rueckweg && p.rueckweg.getestet === false) aus.push(\"Rückweg nicht getestet\");' ' if (p.rueckweg && p.rueckweg.minuten > 15) aus.push(\"Rückweg zu langsam\");' ' if (p.freigabe === p.autor) aus.push(\"Freigabe durch den Autor\");' ' return aus;' '}' >> pruefen.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Das Prüfskript schreiben, Teil 3
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const STOPP = [\"Nachweis zeigt Rückschritt\", \"rueckweg fehlt\", \"Rückweg nicht getestet\", \"Rückweg zu langsam\", \"Freigabe durch den Autor\"];' 'function entscheiden(p) {' ' const gefunden = probleme(p);' ' if (gefunden.length === 0) return \"freigeben\";' ' return gefunden.some(function (g) { return STOPP.indexOf(g) >= 0; }) ? \"stopp\" : \"nachbessern\";' '}' >> pruefen.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Das Prüfskript schreiben, Teil 4
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function main() {' ' Object.keys(plaene).forEach(function (name) {' ' console.log(name + \": \" + entscheiden(plaene[name]) + \" \" + JSON.stringify(probleme(plaene[name])));' ' });' ' const f = \"Schreiben Sie in einem kurzen Satz, warum die freigebende Person nicht die Autorin der Änderung sein darf.\";' ' const probe = \"Ein zweites Augenpaar sieht, was die Autorin in der eigenen Arbeit nicht mehr bemerkt.\";' ' const antwort = await fragen([{ role: \"user\", content: f }], probe, 60);' ' console.log(\"Das Modell sagte: \" + antwort.text);' '}' 'main();' >> pruefen.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Die Änderungsprüfung ausführen
docker exec -w /home/node/project agent node pruefen.jsHier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Was der Run ausgibt
| Zeile | Was sie zeigt |
|---|---|
| Prompt v7: freigeben [] | Gar keine Probleme |
| Modellwechsel: stopp [...] | Sieben Probleme, einige sind Sicherheitsregeln |
| Tonanpassung: stopp ["rueckweg fehlt"] | Gar kein Rückweg |
| Das Modell sagte: ... | Ein Satz aus dem Labor. Eine Aufgezeichnete Probe, wenn kein Modell antwortet |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.