Lässt es sich mit cremefarbenem Papier, einer Tönung, mehr Kontrast oder größerer Schrift besser lesen? Wählen Sie Ihre Farben und Ihre Schrift, einmalig für alle Seiten.

Kostenlose Lektion

Grundlagen eines Chatbot-Dienstes

Die ganze Lektion ist kostenlos und interaktiv. Lesen Sie sie hier, oder drücken Sie „Lab starten“, um sie wirklich in einem Live-Lab auszuführen, ganz ohne Konto.

Container-Lab13 Min. Lesezeit11 Befehle

Wer merkt sich das Gespräch?

Die Schulbibliothek hat auf ihrer Website ein Chatfenster. Du tippst deinen Namen ein, stellst dann eine Frage, und es kennt dich immer noch. Das Sprachmodell dahinter merkt sich nichts. Das erledigt ein kleines Programm in der Mitte: Es hebt das Gespräch auf und schützt die Menschen, die es benutzen. In diesem Lab testest du dieses Programm, und zwar mit einem Ersatzmodell, das immer dieselbe Antwort gibt.

Am Ende dieser Lektion

Notiz

Ich kann erklären, was ein Chat-Dienst rund um ein Sprachmodell zusätzlich leistet.

Schlüsselwörter

  • Sitzung: ein Gespräch, unter einem eigenen Namen aufbewahrt.
  • Kontextbudget: wie viele Tokens Verlauf jedes Mal mitgeschickt werden.
  • Systemprompt: Regeln, die der Dienst zuerst schickt und die die Person nicht ändern kann.
  • Persona: der Name und die Art, die der Helfer bekommt.
  • Moderation: Texte prüfen, bevor sie gesendet oder angezeigt werden.
  • Ratenlimit: wie viele Nachrichten eine Person pro Minute schicken darf.

Zum Start: Was du schon weißt

Notiz

Antworte im Kopf. 1. Welche Rolle einer Nachricht legt die Regeln fest? 2. Erinnert sich ein Modell an die letzte Anfrage? 3. Was sollte ein Programm tun, wenn ein Modell meldet, dass es ausgelastet ist? Antworten: system; nein, es kennt nur, was jede Anfrage mitschickt; warten und es dann noch einmal versuchen.

Bevor du anfängst

Notiz

Klicke oben in der Leiste dieser Lektion auf Lab starten und warte, bis dort steht, dass es läuft. Es gibt zwei Container. model ist das Ersatzmodell. chat ist der Chat-Dienst unter http://chat:8000/chat, und das curl im Terminal erreicht ihn. docker exec chat führt einen Befehl darin aus. Jede Schaltfläche Ausführen unten tippt ihren Befehl ins Terminal deines Labs, einen nach dem anderen in derselben Sitzung. Wenn du zuschauen oder eigene Befehle tippen willst, klicke in der Leiste auf Terminal öffnen (neuer Tab).

Eine Sitzung hebt das Gespräch auf

Jede Nachricht nennt eine Person und eine Sitzung. In der Sitzung s1 sagst du „My name is Ana.“ und fragst dann nach deinem Namen: Die Antwort lautet „Your name is Ana.“ Der Dienst hat die früheren Nachrichten noch einmal mitgeschickt. In der Sitzung s2 bekommt dieselbe Frage „I do not know your name.“ Sitzungen vermischen sich nie, also landet das Gespräch einer Person nie bei einer anderen. Der Ersatz spricht Englisch, deshalb sind die Nachrichten englisch.

Befehl
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u1","session":"s1","message":"My name is Ana."}'

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Befehl
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u1","session":"s1","message":"What is my name?"}'

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Befehl
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u2","session":"s2","message":"What is my name?"}'

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Der Verlauf hat ein Budget, und der Systemprompt kommt zuerst

Jedes gesendete Token kostet Geld und Zeit, deshalb schickt der Dienst nur den neuesten Verlauf, der hineinpasst. Das Skript stellt vier Fragen zweimal. Mit einem Budget von 120 Tokens schickt es 85 und kennt Ana noch. Mit 40 schickt es 37, die Nachricht mit dem Namen fällt weg, und die Antwort lautet „I do not know your name.“ Systemprompt und Persona gehen immer zuerst mit: Die Persona books lehnt eine Rechenaufgabe ab.

Befehl
docker exec chat python3 trim_demo.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Befehl
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u3","session":"s3","persona":"books","message":"What is 6 times 7?"}'

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Prüfe dich

Tipp

Ein langer Chat vergisst plötzlich den Namen der Person. Was ist passiert? Antwort: Die Nachricht mit dem Namen passte nicht mehr ins Kontextbudget und wurde deshalb nicht mitgeschickt. Erhöhe das Budget oder bewahre eine kurze Zusammenfassung dessen auf, was wichtig ist.

Texte werden auf dem Hin- und auf dem Rückweg geprüft

„You are useless.“ wird nie gesendet: moderated ist input, und tries ist 0. Die Antwort des Modells zur Bibliothekarin enthielt eine E-Mail-Adresse und eine Telefonnummer, und beide wurden zu [removed]. Ein Stream kommt in Stücken, deshalb wartet der Dienst auf jeden ganzen Satz, prüft ihn und schickt ihn erst dann weiter: vier Sätze, dann [DONE].

Befehl
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u4","session":"s4","message":"You are useless."}'

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Befehl
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u4","session":"s4","message":"How do I contact the librarian?"}'

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Befehl
curl -s -N http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u4","session":"s5","stream":true,"message":"What are the library rules?"}'

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Ein ausgelastetes Modell wird erneut gefragt, und feste Verläufe sind Tests

Der Ersatz lehnt #busy zweimal ab. Der Dienst wartet eine halbe Sekunde, dann eine Sekunde, und antwortet beim dritten Versuch. #broken scheitert immer, also bekommt die Person nach drei Versuchen eine Entschuldigung und den Status 503, nie eine Fehlermeldung. Jede Person darf 10 Nachrichten pro Minute schicken. Das Protokoll speichert Zahlen und gehashte Kennungen, nie Worte. Die Tests spielen feste Gespräche noch einmal ab: 9 Prüfungen, 0 fehlgeschlagen.

Befehl
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u5","session":"s6","message":"What are the library hours? #busy"}'

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Befehl
curl -s -w "\n%{http_code}\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u5","session":"s7","message":"What are the library hours? #broken"}'

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Befehl
docker exec chat python3 test_transcripts.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Ein häufiger Fehler

Warnung

Viele denken, ein Systemprompt reicht, um einen Chatbot sicher zu machen. Das stimmt nicht: Ein Modell kann trotzdem etwas sagen, das es nicht sagen sollte. Prüfe, was hineingeht und was herauskommt, und zwar im Dienst, wo die Regeln jedes Mal laufen.

Abschlusscheck

Tipp

Antworte, ohne zurückzuschauen. 1. Wer hebt das Gespräch auf, das Modell oder der Dienst? 2. Warum wird der Verlauf auf ein Budget gekürzt? 3. Warum wird eine Antwort geprüft, bevor sie angezeigt wird? 4. Was darf ein Chat-Protokoll speichern? Antworten: der Dienst; Tokens kosten Geld und Zeit; ein Modell kann Dinge sagen, die es nicht sagen sollte; Zahlen und gehashte Kennungen, nie Worte.

Für Lehrkräfte

Tipp

Diese Lektion ist ein kleines Beispiel für eine Lektion, die in einem Lab bearbeitet wird: Die Schritte und die Schaltflächen „Ausführen“ sind die Lektion, und das Lab ist die eigene Kopie jeder lernenden Person. Das Lab besteht aus zwei Diensten auf demselben Python-Image: einem Ersatzmodell, das nach festen Regeln antwortet, und einem Chat-Dienst, der nur mit der Standardbibliothek von Python geschrieben ist. Kein echtes Modell wird aufgerufen, es kostet also nichts, und jede Ausgabe ist gleich. Kernpunkte: 1. Der Dienst hebt jedes Gespräch auf, nicht das Modell. 2. Der Verlauf wird auf ein Token-Budget gekürzt. 3. Texte werden auf dem Hin- und Rückweg geprüft. 4. Ein ausgelastetes Modell wird erneut gefragt, bei einem kaputten bekommt die Person eine Entschuldigung. Häufiger Fehler: sich allein auf den Systemprompt verlassen. Material: das Lab und ein Browser. Tipp: Lassen Sie die Lernenden ein abgelehntes Wort in chatbot.py ergänzen und einen Gesprächsverlauf schreiben, der es beweist, damit sie den Dienst sowohl ändern als auch testen. Kopieren Sie die Lektion in Ihr eigenes Modul und ändern Sie sie, oder bauen Sie im Lektionseditor über das Menü Lab eine neue von Grund auf.

Über dieses Lab und seinen Quellcode: Chatbot-Dienst-Lab: das Programm zwischen Chatfenster und Sprachmodell

Sie unterrichten eine Klasse? Weisen Sie diese Lektionen Ihren Lernenden zu, mit Bewertung und einem Lab für jede lernende Person.