Chatbot-Dienst-Lab: das Programm zwischen Chatfenster und Sprachmodell
Dieses Lab gibt jeder lernenden Person einen kleinen eigenen Chat-Dienst: das Programm, das zwischen einem Chatfenster und einem Sprachmodell sitzt und die Arbeit erledigt, die das Modell nicht leistet. Es speichert jedes Gespräch, kürzt es auf ein Budget an Tokens, setzt einen Systemprompt und eine Persona ein, prüft Texte auf dem Hin- und Rückweg, streamt Antworten, kommt mit einem ausgelasteten oder kaputten Modell zurecht, begrenzt jede Person und führt ein Protokoll ohne personenbezogene Daten. Getestet wird es mit festen Gesprächsverläufen.
Das Modell ist ein Ersatz, und das Lab sagt das überall: Es antwortet im selben Format wie die API eines echten Modells, wählt aber jede Antwort nach festen Regeln, sodass dieselbe Frage immer dieselbe Antwort bekommt. Erst dadurch wird ein Gesprächsverlauf zum Test. Nichts wird heruntergeladen, kein KI-Dienst wird aufgerufen, und nichts kostet Geld. Jede Kopie hat weder eine Verbindung ins Internet noch zu anderen Lernenden.
Was die Lernenden lernen
Was ein Chat-Dienst rund um ein Modell hinzufügt. Sie sehen, wie ein Name in einer Sitzung behalten wird und in einer anderen unbekannt ist, weil der Dienst und nicht das Modell jedes Gespräch speichert. Sie beobachten, wie ein Kontextbudget entscheidet, was gesendet wird: 85 Tokens Verlauf behalten den Namen, 37 verlieren ihn. Sie sehen eine Persona eine Frage ablehnen, eine unhöfliche Nachricht, die nie gesendet wird, und eine E-Mail-Adresse und eine Telefonnummer, die aus einer Antwort entfernt werden. Sie streamen eine Antwort Satz für Satz, jeden geprüft, sehen ein ausgelastetes Modell beim dritten Versuch antworten und ein kaputtes, bei dem die Person eine Entschuldigung mit Status 503 bekommt, und führen 9 Prüfungen über feste Gesprächsverläufe aus. Das passt zu einem Kurs über Softwareentwicklung oder angewandte KI; prüfen Sie die genaue Formulierung in der Einheit Ihrer eigenen Prüfungsstelle, hier wird keine zitiert.
Im Browser ausführen
Das Lab startet zwei Dienste. model ist der Ersatz und antwortet innerhalb des Labs. chat ist der Chat-Dienst, eine Python-Datei nur mit der Standardbibliothek, erreichbar unter http://chat:8000/chat, mit ihren Einstellungen oben in /tmp/chatbot.py. Das Terminal neben dem Lab hat curl, aber kein Python: Es ruft den Dienst direkt auf und führt dessen eigene Skripte mit docker exec chat aus.
- Container-Seite öffnen. Öffnen Sie in der Leiste „Entwickeln“ und wählen Sie „Einen Container ausführen“. Die Seite kann jeder öffnen, und das Git-Lab und das SQL-Lab starten ohne Konto. Alle anderen Labs brauchen ein kostenloses Konto: Erstellen Sie eines, melden Sie sich an und klicken Sie dann auf „Starten“.
- Lab suchen. Die Karte „Beispiel-Labs“ listet alle Beispiele auf. Suchen Sie Chatbot-Dienst: Sitzungen, Moderation und Limits.
- Auf „Starten“ klicken. „Starten“ führt das Lab unverändert mit einem einzigen Klick aus. „Zuerst die Datei bearbeiten“ öffnet die Compose-Datei, damit Sie sie vor dem Start ändern können.
- Öffnen. Klicken Sie auf der Seite des Labs auf „Terminal öffnen“ und senden Sie wie in der Lektion eine Nachricht mit curl an die Adresse http://chat:8000/chat. Tippen Sie dann docker exec chat python3 test_transcripts.py, um die Tests auszuführen.
Was die Lernenden abgeben sollen
Eine Änderung an chatbot.py, etwa ein Wort, das der Dienst ablehnt, eine neue Persona, ein anderes Budget oder ein strengeres Limit, zusammen mit einem Gesprächsverlauf in test_transcripts.py, der beweist, dass die Änderung funktioniert. Dazu die Ausgabe der Tests und ein Satz dazu, was ein echtes Modell anders machen würde. Nach einer Änderung startet docker restart chat den Dienst neu und behält die bearbeitete Datei.
Eine Grundlagenlektion zu diesem Lab
Chatbot Service Basics ist eine kleine Lektion, die in diesem Lab abläuft. Darin hält eine lernende Person ein Gespräch in einer Sitzung fest, sieht das Kontextbudget bei der Arbeit, probiert eine Persona aus, prüft Texte auf dem Hin- und Rückweg, streamt eine Antwort, wiederholt eine Anfrage an ein ausgelastetes Modell und führt die Tests aus.
Kostenlose persönliche Konten haben sie im Modul Basics auf der Startseite, und jede Hochschule kann sie aus dem Ordner Basics der Bibliothek kopieren. Sie ist absichtlich klein: Sie zeigt einer Lehrkraft, was eine Lektion in einem Lab ist, und das Lab erledigt den Rest. Kopieren Sie sie in ein eigenes Modul, um sie zu ändern.
Der Code auf GitHub
Die Compose-Datei hat kein Dockerfile: Sie startet ein einziges öffentliches Standard-Image, Python 3.12 auf Alpine, auf ein genaues Tag festgelegt, zweimal, jeweils mit einem Konto ohne Sonderrechte und 64 MB Speicher. Das Image steht unter der PSF-Lizenz und wird nicht von uns verteilt. Die Datei schreibt beim Start den Ersatz, den Chat-Dienst und seine Tests aus festem Text, nur mit der Standardbibliothek von Python, deshalb wird nichts heruntergeladen. Beim Stoppen des Labs bleibt nichts erhalten, deshalb kopieren die Lernenden ihre Arbeit vorher heraus.
Als Aufgabe stellen
Schreiben Sie in die Aufgabe, was abzugeben ist.
- Lab erstellen. Fügen Sie in Ihrem Modul eine Aufgabe hinzu und wählen Sie die Karte „Container-Lab“, dann „In einem GitHub-Repository“. Geben Sie https://github.com/mitsurutech/lab-chatbot-lab mit dem Branch main an. Die Compose-Datei ist standardmäßig compose.yaml. Forken Sie das Repository zuerst, wenn Sie es ändern möchten, zum Beispiel um dem Chat-Dienst eine andere Persona oder ein strengeres Limit zu geben.
- Veröffentlichen und ausprobieren. „Veröffentlichen“ legt den Commit fest, den Sie gesehen haben. Eine spätere Änderung im Repository verändert also kein Lab, das Sie bereits gestellt haben. Starten Sie zuerst Ihre eigene Kopie.
- Zuweisen. Weisen Sie es wie jede Aufgabe zu, auf Wunsch mit Fälligkeitsdatum, und schreiben Sie in die Aufgabe, was zu tun ist und was abgegeben werden soll.
- Abgaben bewerten. Öffnen Sie die Kopie einer lernenden Person und die abgegebene Arbeit, bewerten Sie sie und geben Sie sie mit einer Begründung zur Überarbeitung zurück, wenn mehr nötig ist.
Dieses Lab ausprobieren, und was es kostet
Mit einem kostenlosen persönlichen Konto können Sie die Grundlagenlektionen in diesem Lab durcharbeiten, mit genug kostenlosem Guthaben pro Monat für die meisten Lektionen und ohne Karte. Für eine Klasse sind die ersten 365 Tage für eine Schule kostenlos, für bis zu 50 Lernende; danach zahlt sie je lernender Person und Jahr, alle Labs inklusive und Lehrkräfte kostenlos.
Häufige Fragen
- Steckt in diesem Lab ein echtes KI-Modell?
- Nein. Das Modell ist ein für das Lab geschriebener Ersatz, ein kurzes Python-Programm, das jede Antwort nach festen Regeln wählt. Es antwortet im selben Format wie die API eines echten Modells, der Chat-Dienst würde also mit einem echten funktionieren, wenn man eine Adresse ändert, aber seine Worte werden nicht erzeugt. Auf dieselbe Frage gibt es immer dieselbe Antwort, und genau das macht einen festen Gesprächsverlauf zum Test.
- Was unterscheidet dieses Lab von der LLM-Werkbank?
- Die LLM-Werkbank ist die API des Modells selbst: Anfragen, Rollen, Tokens und Streaming. Dieses Lab ist der Dienst, den ein echter Chatbot vor diese API setzt: Sitzungen, Budgets, Personas, Moderation, Wiederholungen, Limits, Protokolle und Tests. Beide können zuerst kommen.
- Kostet es etwas oder verbraucht es Guthaben für KI?
- Es wird keine KI genutzt, also wird dafür auch nichts berechnet. Das Lab läuft wie jedes andere Container-Lab.
- Was steht im Chat-Protokoll?
- Eine Zeile pro Gesprächsrunde in /tmp/chat.log im Chat-Dienst: die Uhrzeit, Person und Sitzung als kurze Hashes, die Zahl der Tokens, wie viele Versuche nötig waren und ob etwas abgelehnt oder entfernt wurde. Nie die Worte selbst, daher kann weder ein Name noch eine Nachricht daraus durchsickern. Die Tests prüfen das.
- Können meine Lernenden ihm etwas Persönliches schicken?
- Es geht nirgendwohin: Der Ersatz läuft in der eigenen Kopie der lernenden Person, die keinen Weg ins Internet hat. Trotzdem lohnt es sich, die Gewohnheit zu vermitteln, dass ein echter Modelldienst alles erhält, was eingetippt wird, und dass deshalb nichts Persönliches oder Geheimes in eine Nachricht gehört.