Woher kennt ein Chatbot die Regeln deiner Schule?
Eine Berufsschule stellt einen Hilfe-Chatbot auf ihre Website. Ein Sprachmodell hat die Schulordnung nie gelesen, also kennt es die Regeln der Bibliothek nicht. Das Programm sucht deshalb zuerst die passenden Absätze und schickt sie zusammen mit der Frage. Das heißt Retrieval-Augmented Generation, kurz RAG. Das Modell hier ist ein Ersatzmodell, das immer dieselbe Antwort gibt, damit du jedes Ergebnis prüfen kannst.
Am Ende dieser Lektion
Notiz
Ich kann die Textstellen finden, die eine Frage beantworten, und sie mit ihrer Quelle in einen Prompt setzen.
Schlüsselwörter
- Chunk: ein kurzes Stück eines längeren Dokuments.
- Embedding: eine Liste von Zahlen, die für einen Text steht.
- Vektorspeicher: Chunks samt ihren Embeddings, zum Durchsuchen abgelegt.
- Ähnlichkeit: wie nah zwei Embeddings in dieselbe Richtung zeigen, höchstens 1.
- Recall@k: wie oft die richtige Quelle unter den ersten k Treffern ist.
Zum Einstieg: was du schon weißt
Notiz
Beantworte die Fragen im Kopf. 1. Welcher Teil einer Chat-Anfrage legt die Regeln fest? 2. Erinnert sich ein Modell an frühere Anfragen? 3. Was gibt eine Suchmaschine auf eine Suchanfrage zurück? Antworten: die Systemnachricht; nein, es kennt nur, was die jeweilige Anfrage mitschickt; eine sortierte Liste von Seiten.
Bevor du anfängst
Notiz
Drücke oben in der Leiste dieser Lektion auf Lab starten und warte, bis dort steht, dass es läuft. Es gibt zwei Container. model ist das Ersatzmodell und antwortet unter http://model:4000/v1. tools enthält das Python des Labs, fünf kurze Dokumente in docs/ und Skripte in steps/, und docker exec tools führt darin einen Befehl aus. Jede Schaltfläche Ausführen tippt ihren Befehl in das Terminal deines Labs, einen nach dem anderen in derselben Sitzung. Wenn du zuschauen oder eigene Befehle tippen willst, drücke in der Leiste auf Terminal öffnen.
Dokumente werden in Chunks geteilt
Ein ganzes Dokument ist zu lang, um es mit jeder Frage mitzuschicken. Deshalb wird es in Chunks aus wenigen Wörtern geteilt, die sich jeweils ein Stück überlappen. Die Seite der Bibliothek hat 63 Wörter. Chunks aus 40 Wörtern mit 10 Wörtern Überlappung ergeben 2 Chunks. Chunks aus 8 Wörtern ergeben 8, und die Angabe „eight books“ steht jetzt getrennt von „three weeks“.
docker exec tools python3 steps/chunk.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Ein Embedding macht aus Text Zahlen
Der erste Befehl bittet das Ersatzmodell um 8 Zahlen für eine Frage. Das Skript verlangt je 128 Zahlen, immer mit der Länge 1.0. Zwei Texte, die „borrow“ und „books“ teilen, erreichen 0.866. „Laptop“ gegen „notebook computer“ ergibt 0.0. Das Ersatzmodell hasht Wörter, nicht ihre Bedeutung. Ein echtes Embedding-Modell ordnet Texte nach ihrer Bedeutung, und dort lägen diese beiden nah beieinander.
curl -s -w "\n" http://model:4000/v1/embeddings -H "Content-Type: application/json" -d '{"model":"lab","input":"How many books can I borrow?","dimensions":8}'Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
docker exec tools python3 steps/embed.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Kurz prüfen
Tipp
Zwei Texte bedeuten dasselbe, teilen aber kein einziges Wort. Welchen Wert gibt ihnen das Ersatzmodell, und was würde ein echtes Embedding-Modell tun? Antwort: 0.0, weil es nur gemeinsame Wörter zählt. Ein echtes Modell gäbe ihnen einen hohen Wert, weil es die Bedeutung vergleicht.
Ein Vektorspeicher findet die nächsten Chunks
Der Speicher hält 8 Chunks aus 5 Dokumenten, jeden mit seinen Zahlen. Auch die Frage wird in Zahlen umgewandelt, und jeder Chunk bekommt einen Wert für die Ähnlichkeit. Die drei besten kommen mit ihrer Quelle zurück. „How many books can I borrow?“ findet zuerst library.txt, mit dem Wert 0.333. Ein echtes System nutzt eine Vektordatenbank, um Millionen von Chunks schnell zu durchsuchen.
docker exec tools python3 steps/search.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Gefundene Textstellen kommen mit ihrer Quelle in den Prompt
Das Skript gibt den Prompt aus: Jede Textstelle beginnt mit ihrer Quelle in eckigen Klammern, danach folgt die Frage. Die Antwort nennt [library.txt], so kann jemand sie nachprüfen. Ganz ohne Quellen sagt das Ersatzmodell, dass es keine Antwort hat. Mit Chunks aus 8 Wörtern fehlt die Stelle mit „three weeks“, und wieder gibt es keine Antwort.
docker exec tools python3 steps/answer.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Ein häufiger Fehler
Warnung
Viele glauben, RAG bringe dem Modell deine Dokumente bei. Das stimmt nicht: Das Modell lernt nichts und behält nichts. Es liest nur die Textstellen, die mit dieser einen Frage mitkommen. Verfehlt die Suche die richtige Stelle, ist die Antwort falsch oder fehlt, egal wie gut das Modell ist.
Recall@k misst die Suche
Acht Testfragen haben jeweils eine bekannte richtige Quelle. Recall@k ist der Anteil der Fragen, deren Quelle unter den ersten k Treffern ist. Mit Chunks aus 40 Wörtern liegt Recall@1 bei 0.75 und Recall@3 bei 0.875. Die Frage nach dem Notebook teilt kein Wort mit it.txt und wird deshalb nie gefunden. Kleine Chunks erreichen höhere Werte, aber im letzten Schritt haben sie die Angabe zerschnitten. Prüfe also auch die Antwort.
docker exec tools python3 steps/recall.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Ein Dokument kann versteckte Anweisungen enthalten
Probiere das nur mit Daten aus, die dir gehören. notice.txt fordert den Assistenten auf zu sagen, die Prüfungen fielen aus. Die Suche findet dieses Dokument bei einer Frage zu den Prüfungen, und das Ersatzmodell befolgt die Anweisung. Werden Textstellen, die Befehle erteilen, aussortiert, kommt die richtige Antwort zurück. Echte Systeme behandeln gefundene Textstellen außerdem als Daten, geben dem Modell keine Macht zu handeln und prüfen ihre Quellen.
docker exec tools cat docs/notice.txtHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
docker exec tools python3 steps/inject.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Abschlussfragen
Tipp
Antworte, ohne zurückzuschauen. 1. Warum werden Dokumente in Chunks geteilt? 2. Was vergleicht das Embedding des Ersatzmodells? 3. Warum bekommt jede Textstelle ihre Quelle? 4. Was misst Recall@3? 5. Darf man einem Text folgen, den die Suche gefunden hat? Antworten: damit nur das Nötige mitgeschickt wird; gemeinsame Wörter; damit sich die Antwort prüfen lässt; wie oft die richtige Quelle unter den ersten drei Treffern ist; nein, er ist als Daten zu behandeln.
Für Lehrkräfte
Tipp
Diese Lektion ist ein kleines Beispiel für eine Lektion, die in einem Lab bearbeitet wird: Die Schritte und die Schaltflächen „Ausführen“ sind die Lektion, und das Lab ist die eigene Kopie jeder lernenden Person. Das Lab besteht aus zwei Diensten desselben Python-Images: einem Ersatzmodell mit gehashten Embeddings und einem Python mit einem kleinen Vektorspeicher, fünf Dokumenten und kurzen Skripten. Kein echtes Modell wird aufgerufen, deshalb kostet es nichts, und jede Ausgabe ist immer gleich. Wichtigste Lernpunkte: 1. Dokumente werden in Chunks geteilt und in Embeddings verwandelt. 2. Die Suche liefert die Chunks, die einer Frage am nächsten sind. 3. Gefundene Textstellen kommen mit ihren Quellen in den Prompt. 4. Recall@k misst die Suche, und gefundener Text ist Daten, nie ein Befehl. Häufiger Fehler: zu glauben, RAG bringe dem Modell etwas bei. Ausstattung: das Lab und ein Browser. Tipp: Lassen Sie die Lernenden vor jedem Klick auf „Ausführen“ vorhersagen, welches Dokument eine Frage findet. Kopieren Sie die Lektion in Ihr eigenes Modul und ändern Sie sie, oder bauen Sie im Lektionseditor über das Menü Lab eine neue von Grund auf.