RAG-Lab: Retrieval-Augmented Generation mit Vektorspeicher und Ersatzmodell
Dieses Lab gibt jeder lernenden Person eine eigene Retrieval-Augmented Generation (RAG) zum Bauen und Testen: Ein Programm sucht die Textstellen, die eine Frage beantworten, und schickt sie mit ihren Quellen an ein Sprachmodell. Die Lernenden teilen Dokumente in Chunks, verwandeln die Chunks in Embeddings, legen sie in einem kleinen Vektorspeicher ab, durchsuchen ihn, setzen das Gefundene in den Prompt, messen die Suche mit Recall@k und sehen, was dabei schiefgeht.
Das Modell ist ein Ersatzmodell, und das Lab sagt das überall: Es antwortet im selben Format wie eine echte Modell-API, wählt aber jede Antwort nach festen Regeln, sodass dieselbe Frage immer dieselbe Antwort bekommt. Auch seine Embeddings sind nur Ersatz, ein gehashter Bag of Words: Zwei Texte liegen nur dann nah beieinander, wenn sie Wörter teilen, während ein echtes Embedding-Modell Texte nach ihrer Bedeutung ordnet. Nichts wird heruntergeladen, kein KI-Dienst wird aufgerufen, und nichts kostet Geld. Jede Kopie hat weder einen Weg ins Internet noch zu anderen Lernenden.
Was die Lernenden lernen
Wie ein Chatbot aus Dokumenten antwortet, mit denen er nie trainiert wurde. Die Lernenden teilen eine Seite in Chunks zweier Größen und sehen, wie ein kleiner Chunk eine Angabe zerschneidet. Sie vergleichen Embeddings: 0.866 für zwei Texte mit gemeinsamen Wörtern, 0.0 für „laptop“ und „notebook computer“, die ein echtes Embedding-Modell nah beieinander einordnen würde. Sie durchsuchen 8 Chunks aus 5 Dokumenten, setzen die nächsten mit ihrer Quelle in eckigen Klammern in einen Prompt und bekommen eine Antwort, die diese Quelle nennt, oder keine, wenn die Textstelle fehlt. Sie messen über acht Testfragen Recall@1 mit 0.75 und Recall@3 mit 0.875.
Ein Dokument versteckt eine Anweisung, und das Ersatzmodell befolgt sie: Genau das ist eine Prompt Injection. Werden Textstellen, die Befehle erteilen, aussortiert, kommt die richtige Antwort zurück, und die Lektion nennt, was echte Systeme zusätzlich tun: gefundenen Text als Daten behandeln, dem Modell keine Macht zum Handeln geben und Quellen prüfen. Das Ganze ist als Verteidigung auf der eigenen Kopie angelegt. Es passt zu einem Kurs über Softwareentwicklung oder angewandte KI; prüfen Sie die genaue Formulierung in der Einheit Ihrer eigenen Prüfungsstelle, hier wird keine zitiert.
Im Browser ausführen
Das Lab startet zwei Dienste. model ist das Ersatzmodell und antwortet im Lab unter http://model:4000/v1, mit einem eigenen Endpunkt für Embeddings. tools ist ein Python mit rag.py (Chunking, Vektorspeicher, Suche und Prompt, nur mit der Standardbibliothek von Python geschrieben), fünf kurzen Dokumenten in docs/ und Skripten in steps/. Das Terminal neben dem Lab hat curl, aber kein Python, deshalb erreicht es die Skripte mit docker exec tools.
- Container-Seite öffnen. Öffnen Sie in der Leiste „Entwickeln“ und wählen Sie „Einen Container ausführen“. Die Seite kann jeder öffnen, und das Git-Lab und das SQL-Lab starten ohne Konto. Alle anderen Labs brauchen ein kostenloses Konto: Erstellen Sie eines, melden Sie sich an und klicken Sie dann auf „Starten“.
- Lab finden. Die Karte „Beispiel-Labs“ listet alle Beispiele auf. Suchen Sie RAG: erst in Dokumenten suchen, dann antworten.
- „Starten“ wählen. „Starten“ führt das Lab unverändert mit einem Klick aus. „Zuerst die Datei bearbeiten“ öffnet die Compose-Datei, damit Sie sie vor dem Start ändern können.
- Öffnen. Klicken Sie auf der Seite des Labs auf „Terminal öffnen“ und tippen Sie docker exec tools python3 steps/search.py, um die nächsten Chunks zu zwei Fragen zu sehen, mit ihren Werten und Quellen.
Was die Lernenden abgeben sollen
Ein kurzes eigenes Dokument in docs/, zwei Testfragen dazu in steps/recall.py, den Recall, den das Skript ausgegeben hat, und einen Satz dazu, was ein echtes Embedding-Modell ändern würde. Nichts wird automatisch bewertet: Der Satz zeigt, ob es verstanden wurde.
Eine Grundlagenlektion zu diesem Lab
RAG Basics ist eine kleine Lektion, die in diesem Lab abläuft. Darin teilt eine lernende Person ein Dokument in Chunks, vergleicht Embeddings, durchsucht den Vektorspeicher, setzt das Gefundene mit seiner Quelle in den Prompt, misst Recall@k und stoppt eine eingeschleuste Anweisung.
Kostenlose persönliche Konten haben sie im Modul Basics auf der Startseite, und jede Hochschule kann sie aus dem Ordner Basics der Bibliothek kopieren. Sie ist absichtlich klein: Sie zeigt einer Lehrkraft, was eine Lektion in einem Lab ist, und das Lab erledigt den Rest. Kopieren Sie sie in ein eigenes Modul, um sie zu ändern.
Der Code auf GitHub
Die Compose-Datei hat kein Dockerfile: Sie startet ein einziges öffentliches Standard-Image, Python 3.12 auf Alpine, auf ein exaktes Tag festgelegt, zweimal, jeweils mit einem Konto ohne Sonderrechte und 64 MB Speicher. Das Image steht unter der PSF-Lizenz und wird nicht von uns verteilt. Die Datei schreibt beim Start das Ersatzmodell, rag.py, die Dokumente und die Skripte aus festem Text, deshalb wird nichts heruntergeladen. Der Vektorspeicher ist eine Python-Liste und keine Vektordatenbank: Acht Chunks brauchen keinen Index. Beim Stoppen des Labs bleibt nichts erhalten, deshalb kopieren die Lernenden ihre Arbeit vorher heraus.
Als Aufgabe stellen
Schreiben Sie in die Aufgabe, was abzugeben ist.
- Lab erstellen. Fügen Sie in Ihrem Modul eine Aufgabe hinzu und wählen Sie die Karte „Container-Lab“, dann „In einem GitHub-Repository“. Geben Sie https://github.com/mitsurutech/lab-rag-lab mit dem Branch main an. Die Compose-Datei ist standardmäßig compose.yaml. Forken Sie das Repository zuerst, wenn Sie es ändern möchten, etwa um eigene Dokumente in docs/ abzulegen.
- Veröffentlichen und ausprobieren. „Veröffentlichen“ legt den Commit fest, der Ihnen gezeigt wurde, sodass eine spätere Änderung im Repository ein bereits gestelltes Lab nicht verändert. Starten Sie zuerst Ihre eigene Kopie.
- Zuweisen. Weisen Sie es wie jede Aufgabe zu, auf Wunsch mit einem Fälligkeitsdatum, und beschreiben Sie in der Aufgabe, was zu tun ist und was abgegeben werden soll.
- Abgaben bewerten. Öffnen Sie die Kopie einer lernenden Person und ihre Abgabe, bewerten Sie sie und geben Sie sie mit einer Begründung zur Überarbeitung zurück, wenn mehr nötig ist.
Dieses Lab ausprobieren, und was es kostet
Mit einem kostenlosen persönlichen Konto können Sie die Grundlagenlektionen in diesem Lab durcharbeiten, mit genug kostenlosem Guthaben pro Monat für die meisten Lektionen und ohne Karte. Für eine Klasse sind die ersten 365 Tage für eine Schule kostenlos, für bis zu 50 Lernende; danach zahlt sie je lernender Person und Jahr, alle Labs inklusive und Lehrkräfte kostenlos.
Häufige Fragen
- Sind die Embeddings echt?
- Nein. Das Ersatzmodell hasht jedes Wort auf eine Stelle in einer Liste von Zahlen, deshalb liegen zwei Texte nur dann nah beieinander, wenn sie Wörter teilen. Ein echtes Embedding-Modell ist darauf trainiert, Texte nach ihrer Bedeutung einzuordnen: „laptop“ und „notebook computer“ lägen dann nah beieinander, und die Frage nach dem Notebook würde gefunden. Chunking, Speicher, Prompt und Recall@k funktionieren mit beiden gleich.
- Steckt in diesem Lab ein echtes KI-Modell?
- Nein. Das Modell ist ein für das Lab geschriebener Ersatz, ein kurzes Python-Programm, das jede Antwort nach festen Regeln wählt. Es antwortet nur, wenn die Textstelle mit der gesuchten Angabe im Prompt steht, und zeigt so, was fehlender Kontext bewirkt. Auf dieselbe Frage gibt es immer dieselbe Antwort.
- Warum enthält das Lab ein Dokument mit einer versteckten Anweisung?
- Um die Verteidigung zu lehren. Was die Suche findet, hat jemand anderes geschrieben, und ein Modell folgt darin enthaltenen Anweisungen womöglich. Die Lernenden sehen das auf ihrer eigenen Kopie geschehen und stoppen es dann. Die Lektion bittet sie, das nur mit Daten zu versuchen, die ihnen gehören.
- Kostet es etwas oder verbraucht es Guthaben für KI?
- Es wird keine KI genutzt, also wird dafür nichts berechnet. Das Lab läuft wie jedes andere Container-Lab.
- Warum eine Python-Liste und keine Vektordatenbank?
- Acht Chunks sind in einem Augenblick durchsucht, indem man jeden einzeln vergleicht. Eine Vektordatenbank ergänzt einen Index, damit sich Millionen schnell durchsuchen lassen. In einem echten System ist das wichtig, hier würde es die Idee verdecken.