Vierzig Richtlinien, immer dieselben Fragen
Ein Dokumentenassistent beantwortet Fragen aus den eigenen Dateien einer Firma und nennt die Datei, die er benutzt hat. Eine Hausverwaltung in Bremen hat 40 interne Richtlinien, und die Belegschaft stellt jeden Tag dieselben Fragen.
In diesem Abschlussprojekt planen Sie eine solche Funktion und legen fest, wie Sie sie prüfen. Sie arbeiten mit einer aufgezeichneten Stichprobe, also bleiben die Zahlen fest und vergleichbar.
Am Ende dieser Lektion
Notiz
Ich kann eine Funktion planen und prüfen, die aus Dokumenten antwortet.
Schlüsselwörter
| Begriff | Was er bedeutet | Beispiel |
|---|---|---|
| Spezifikation | ein kurzer schriftlicher Plan, was eine Funktion leisten muss | |
| Retrieval | das Finden der Textstellen, die die Antwort enthalten | |
| Quelle | das Dokument, aus dem eine Antwort stammt | urlaub.pdf |
| Ablehnung | die Aussage, dass die Dokumente die Frage nicht beantworten | |
| Abnahmewert | das Ergebnis, das eine Funktion vor der Freigabe erreichen muss |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Wo Sie tiefer einsteigen
Notiz
Dieses Projekt plant und prüft; Retrieval lehrt es nicht. Das tun die KI-Lektionen auf der Seite Ressourcen. Retrieval-Augmented Generation. Evaluation und Tests für Funktionen mit Modell. Retrieval-Systeme.
Eine Spezifikation sagt, was gut ist
Schreiben Sie vor jedem Code eine Spezifikation von einer halben Seite. Sagen Sie, wer die Funktion nutzt und welche Dokumente sie lesen darf. Sagen Sie, was jede Antwort zeigen muss, zum Beispiel ihre Quelle.
Sagen Sie, was sie nie tun darf. Bei einem Dokumentenassistenten ist das vor allem Raten. Beantwortet kein Dokument die Frage, gibt er eine Ablehnung.
Beispiel: die Spezifikation auf einer Seite
| Teil der Spezifikation | Was wir geschrieben haben |
|---|---|
| Wer sie nutzt | Angemeldete Beschäftigte der Verwaltung |
| Was sie lesen darf | Die 40 Richtlinien, sonst nichts |
| Jede Antwort muss | Das Dokument nennen, aus dem sie stammt |
| Sie darf nie | Raten, wenn kein Dokument antwortet |
| Abnahmewerte | 18 von 20 richtig, und jede Frage ohne Antwort abgelehnt |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Ein Evaluationsset besteht aus festen Fragen
Das Evaluationsset macht aus der Spezifikation Fälle. Jeder Fall ist eine Frage und das Dokument, das sie beantworten sollte. Manche Fälle haben absichtlich kein Dokument, um die Ablehnung zu testen.
Halten Sie das Set fest, damit sich zwei Läufe vergleichen lassen. Das Programm prüft eine aufgezeichnete Stichprobe von fünf Fällen.
Probieren Sie es: eine Stichprobe prüfen
# Eine aufgezeichnete Stichprobe: was der Assistent im Test geantwortet hat.
# "quelle" ist das Dokument, aus dem die Antwort kommen sollte.
# Eine leere Quelle heißt: Kein Dokument beantwortet es, also ablehnen.
faelle = [
{"frage": "Wie viele Urlaubstage?", "quelle": "urlaub.pdf", "genutzt": "urlaub.pdf"},
{"frage": "Wie rechne ich ein Taxi ab?", "quelle": "reisekosten.pdf", "genutzt": "reisekosten.pdf"},
{"frage": "Wer repariert meinen Laptop?", "quelle": "it-hilfe.pdf", "genutzt": "urlaub.pdf"},
{"frage": "Was verdient die Geschäftsführung?", "quelle": "", "genutzt": ""},
{"frage": "Darf ich meinen Hund mitbringen?", "quelle": "", "genutzt": "buero.pdf"},
]
richtig = 0
for fall in faelle:
if fall["genutzt"] == fall["quelle"]:
richtig = richtig + 1
else:
print("Prüfen:", fall["frage"])
print("Richtig:", richtig, "von", len(faelle))
# Ändern Sie die Antwort zum Laptop in "it-hilfe.pdf" und starten Sie neu.
Abnahmewerte entscheiden über die Freigabe
Ein Abnahmewert steht in der Spezifikation, bevor das Testen beginnt. Hier sind es zwei Werte: mindestens 18 von 20 richtig und keine einzige geratene Antwort.
Zwei Werte zählen, weil einer den anderen verdecken kann. Eine Funktion kann 19 von 20 erreichen und trotzdem eine Regel zum Gehalt erfinden. Diese eine geratene Antwort stoppt die Freigabe.
Ein häufiger Irrtum
Warnung
Viele denken, ein paar von Hand ausprobierte Fragen zeigten, dass die Funktion funktioniert. Eine Handvoll Versuche verdeckt die seltenen Fehler. Nutzen Sie ein festes Set von mindestens 20 Fällen, auch mit Fragen ohne Antwort, und lassen Sie es nach jeder Änderung laufen.