Die Prüfung, die einen schlechten Start verhindert
Eine Governance-Prüfung ist eine kurze, schriftliche Kontrolle einer KI-Funktion vor dem Start. Sie ist wichtig, weil die Fragen, die niemand stellte, den Vorfall auslösen. Ein schriftliches Protokoll zeigt später, wer was entschied.
Diese Lektion fasst das Modul in fünf Punkten zusammen, die Sie mit einem Programm prüfen können.
Am Ende dieser Lektion
Notiz
Ich kann eine KI-Funktion vor dem Start prüfen und das Ergebnis aufschreiben.
Schlüsselwörter
| Begriff | Was er bedeutet |
|---|---|
| Prüfung | eine schriftliche Kontrolle vor dem Start |
| Freigabe | die verantwortliche Person stimmt dem Start zu |
| Lücke | ein Punkt, den die Prüfung auslässt |
| Rückweg | die Schritte, die die Funktion abschalten |
| Protokoll | das gespeicherte Ergebnis der Prüfung |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Fünf Punkte machen eine Prüfung
Prüfen Sie fünf Dinge. Gibt es eine namentlich bekannte verantwortliche Person? Sind die Risiken aufgeschrieben? Gibt es genug Testfälle? Gibt es einen Rückweg? Ist das Ergebnis protokolliert?
Jeder Punkt stammt aus diesem Modul. Die verantwortliche Person kommt aus der Risikostufe. Die Risiken kommen aus Kontrolle und Feedback. Die Tests kommen aus dem Modellwechsel, der Rückweg aus dem Anbieterrisiko.
Durchgerechnetes Beispiel: zwei Prüfungen, Minimum 5 Fälle
| Funktion | Verantwortlicher | Risiken | Tests | Rückweg | Protokoll | Ergebnis |
|---|---|---|---|---|---|---|
| Erstattungsroboter | ja | 2 | 0 | ja | ja | Tests fehlen |
| Lebenslauf-Filter | ja | 1 | 12 | nein | nein | Rückweg und Protokoll fehlen |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Schreiben Sie das Ergebnis auf
Das Ergebnis wird mit Datum, Namen und Befunden gespeichert. Findet die Prüfung eine Lücke, wartet die Funktion. Besteht sie, gibt die verantwortliche Person sie frei.
Wiederholen Sie die Prüfung nach einer Änderung: einem neuen Modell, einer neuen Nutzung oder einem neuen Anbieter. Eine Prüfung hält einen Tag fest und ist keine Erlaubnis für immer.
Ein häufiger Fehler
Warnung
Viele glauben, eine Prüfung geschehe einmal, beim Start. Die Funktion ändert sich, ebenso Modell, Nutzer und Regeln. Wiederholen Sie die Prüfung, wenn sich eines davon ändert, und heben Sie jedes Ergebnis auf.
Modell-Helfer schreiben, Teil 1
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const basis = process.env.AI_URL || \"http://ai:4000\";' '// Die Token einer Antwort oder null, wenn sie keine nennt.' 'function zaehlen(daten, name) {' ' return daten.usage && typeof daten.usage[name] === \"number\" ? daten.usage[name] : null;' '}' > model.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Modell-Helfer schreiben, Teil 2
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function fragen(nachrichten, probe, max) {' ' try {' ' const res = await fetch(basis + \"/v1/chat/completions\", {' ' method: \"POST\",' ' headers: { \"content-type\": \"application/json\", authorization: \"Bearer lab\" },' ' body: JSON.stringify({ model: \"lab\", messages: nachrichten, max_tokens: max || 100 }),' ' signal: AbortSignal.timeout(30000),' ' });' ' if (res.ok === false) throw new Error(\"Status \" + res.status);' ' const d = await res.json();' ' return { text: d.choices[0].message.content, eingabe: zaehlen(d, \"prompt_tokens\"), ausgabe: zaehlen(d, \"completion_tokens\"), aufgezeichnet: false };' ' } catch (fehler) {' ' console.log(\"Aufgezeichnete Probe: Kein Modell hat geantwortet (\" + fehler.message + \").\");' ' return { text: probe, eingabe: null, ausgabe: null, aufgezeichnet: true };' ' }' '}' 'module.exports = { fragen };' >> model.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Prüfungskontrolle schreiben, Teil 1
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const { fragen } = require(\"./model\");' '' 'const MIN_TESTS = 5; // weniger Fälle reichen nicht für Vertrauen' '// Zwei erfundene Prüfungen. Eine Prüfung ist bereit, wenn jeder Punkt vorhanden ist.' 'const pruefungen = [' ' { name: \"Erstattungsroboter\", verantwortlicher: \"Jonas Weber\", risiken: [\"falsche Erstattung\", \"verärgerter Kunde\"], tests: 0, rueckweg: \"Schalter ausschalten\", protokoll: true },' ' { name: \"Lebenslauf-Filter\", verantwortlicher: \"Anna Schmidt\", risiken: [\"unfaire Ablehnung\"], tests: 12, rueckweg: \"\", protokoll: false },' '];' > pruefung.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Prüfungskontrolle schreiben, Teil 2
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'function fehlend(p) {' ' const luecken = [];' ' if (p.verantwortlicher.trim() === \"\") luecken.push(\"Verantwortlicher\");' ' if (p.risiken.length === 0) luecken.push(\"Risiken\");' ' if (p.tests < MIN_TESTS) luecken.push(\"Tests\");' ' if (p.rueckweg.trim() === \"\") luecken.push(\"Rückweg\");' ' if (p.protokoll === false) luecken.push(\"Protokoll\");' ' return luecken;' '}' >> pruefung.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Prüfungskontrolle schreiben, Teil 3
docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function main() {' ' pruefungen.forEach(function (p) {' ' const luecken = fehlend(p);' ' console.log(p.name + \": \" + (luecken.length === 0 ? \"bereit\" : \"NICHT BEREIT, es fehlt \" + luecken.join(\", \")));' ' });' ' const q = \"Schreiben Sie einen Satz, den ein Rückwegplan für eine Chatfunktion mit Kunden enthalten muss.\";' ' const r = await fragen([{ role: \"user\", content: q }], \"Er nennt, wer die Funktion abschaltet, wie, und wie lange das dauert.\", 60);' ' console.log(\"Ein möglicher Satz: \" + r.text);' '}' 'main();' >> pruefung.js"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Prüfungskontrolle ausführen
docker exec -w /home/node/project agent node pruefung.jsHier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Eine mögliche Ausgabe
| Zeile | Was sie zeigt |
|---|---|
| Erstattungsroboter: NICHT BEREIT, es fehlt Tests | Noch keine Testfälle |
| Lebenslauf-Filter: NICHT BEREIT, es fehlt Rückweg, Protokoll | Kein Weg zurück und nichts gespeichert |
| Ein möglicher Satz: ... | Ihr eigener Aufruf. Er ändert sich bei jedem Lauf oder zeigt Aufgezeichnete Probe |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.