LLM-Werkbank-Lab: die API eines Sprachmodells zum Üben, mit einem Stellvertreter-Modell

Dieses Lab gibt jeder lernenden Person eine eigene Sprachmodell-API zum Üben: die Anfragen, die ein Programm schickt, die Antworten, die zurückkommen, und das, was schiefgehen kann. Die Lernenden rufen sie mit curl im Terminal und mit kurzen Python-Skripten auf und lernen Nachrichten und Rollen, Systemnachrichten, Token und Grenzen, Sampling-Einstellungen, strukturierte Ausgabe, Streaming, Fehler und Wiederholungen und was eine Anfrage kostet.

Das Modell ist ein Stellvertreter, und das Lab sagt das überall: Es antwortet im selben Format wie die API eines echten Modells, wählt aber jede Antwort nach festen Regeln, sodass dieselbe Frage immer dieselbe Antwort bekommt. Genau das macht jedes Ergebnis überprüfbar. Nichts wird heruntergeladen, kein KI-Dienst wird aufgerufen, und nichts kostet Geld. Jede Kopie hat weder eine Verbindung ins Internet noch zu anderen Lernenden.

Was die Lernenden lernen

Wie ein Programm mit einem Sprachmodell spricht. Sie schicken eine Anfrage als JSON und lesen die Antwort: den Text, den Grund, warum sie endete, und die verbrauchten Token, 15 hinein und 10 heraus für eine Frage. Sie sehen, wie eine Systemnachricht die Antwort verändert und eine Frage ablehnt, und merken, dass ein Modell sich an nichts erinnert, wenn die früheren Nachrichten nicht noch einmal mitgeschickt werden. Sie zählen Token, kürzen eine Antwort mit max_tokens und rechnen die Kosten mit ausgedachten Preisen aus. Sie verlangen strukturierte Ausgabe über einen erzwungenen Werkzeugaufruf und prüfen sie, sehen eine Antwort in 14 Ereignissen hereinströmen und wiederholen eine Anfrage an ein überlastetes Modell mit wachsender Pause, während sie eine fehlerhafte Anfrage nie wiederholen. Das passt zu einem Kurs über Softwareentwicklung oder angewandte KI; prüfen Sie die genaue Formulierung in der Einheit Ihrer eigenen Prüfungsstelle, hier wird keine zitiert.

Im Browser ausführen

Das Lab startet zwei Dienste. model ist der Stellvertreter und antwortet im Lab unter http://model:4000/v1. tools ist ein Python mit llm.py, einem kleinen Client, der nur mit der Standardbibliothek von Python geschrieben ist, und steps/, kurzen Skripten, die jeweils eine Idee zeigen. Das Terminal neben dem Lab hat curl, aber kein Python: Es ruft das Modell direkt auf und erreicht die Skripte mit docker exec tools.

  1. Container-Seite öffnen. Wählen Sie in der Leiste „Entwickeln“ und dann „Einen Container ausführen“. Die Seite kann jeder öffnen, und das Git-Lab und das SQL-Lab starten ohne Konto. Jedes andere Lab braucht ein kostenloses Konto: Erstellen Sie eines, melden Sie sich an und wählen Sie dann „Starten“.
  2. Lab finden. Die Karte „Beispiel-Labs“ listet alle Beispiele auf. Suchen Sie LLM-Werkbank: eine Modell-API zum Üben.
  3. „Starten“ wählen. „Starten“ führt das Lab unverändert mit einem Klick aus. „Zuerst die Datei bearbeiten“ öffnet die Compose-Datei, damit Sie sie vor dem Start ändern können.
  4. Öffnen. Klicken Sie auf der Seite des Labs auf „Terminal öffnen“ und tippen Sie curl -s http://model:4000/v1/models, um das Modell nach seinem Namen zu fragen: Er lautet lab. Tippen Sie dann docker exec tools python3 steps/roles.py, um zu sehen, wie eine Systemnachricht die Antwort verändert.

Was die Lernenden abgeben sollen

Ein kurzes eigenes Python-Skript, ausgeführt mit docker exec tools python3, das das Modell aufruft und eine Sache aus der Lektion umsetzt: ein Gespräch fortführen, eine strukturierte Antwort gegen ihr Schema prüfen oder ein überlastetes Modell erneut fragen und am Ende aufgeben. Dazu die Ausgabe, die es geliefert hat, und einen Satz dazu, was ein echtes Modell anders machen würde. Nichts wird automatisch bewertet: Der Satz zeigt, ob es verstanden wurde.

Eine Grundlagenlektion zu diesem Lab

LLM API Basics, auf Deutsch „Grundlagen von LLM-APIs“, ist eine kleine Lektion, die in diesem Lab abläuft. Darin schickt eine lernende Person eine Anfrage mit curl, setzt eine Systemnachricht, zählt Token und Kosten, probiert die Sampling-Einstellungen, verlangt strukturierte Ausgabe, lässt eine Antwort streamen und wiederholt eine Anfrage an ein überlastetes Modell.

Kostenlose persönliche Konten haben sie im Modul Basics auf der Startseite, und jede Hochschule kann sie aus dem Ordner Basics der Bibliothek kopieren. Sie ist absichtlich klein: Sie zeigt einer Lehrkraft, was eine Lektion in einem Lab ist, und das Lab erledigt den Rest. Kopieren Sie sie in ein eigenes Modul, um sie zu ändern.

Der Code auf GitHub

Die Compose-Datei hat kein Dockerfile: Sie startet ein einziges öffentliches Standard-Image, Python 3.12 auf Alpine, auf ein genaues Tag festgelegt, zweimal, jeweils mit einem Konto ohne Sonderrechte und 64 MB Speicher. Das Image steht unter der PSF-Lizenz und wird nicht von uns verteilt. Die Datei schreibt beim Start den Stellvertreter und die Skripte aus festem Text, nur mit der Standardbibliothek von Python, deshalb wird nichts heruntergeladen. Die Regeln des Stellvertreters stehen oben in seiner eigenen Datei, und eine Lehrkraft kann dort eigene Antworten ergänzen. Beim Stoppen des Labs bleibt nichts erhalten, deshalb kopieren die Lernenden ihr Skript vorher heraus.

Als Aufgabe stellen

Schreiben Sie in die Aufgabe, was abzugeben ist.

  1. Lab erstellen. Fügen Sie in Ihrem Modul eine Aufgabe hinzu und wählen Sie die Karte „Container-Lab“, dann „In einem GitHub-Repository“. Geben Sie https://github.com/mitsurutech/lab-llm-workbench mit dem Branch main an. Die Compose-Datei ist standardmäßig compose.yaml. Forken Sie das Repository zuerst, wenn Sie etwas ändern möchten, etwa um dem Stellvertreter-Modell eigene Antworten zu geben.
  2. Veröffentlichen und ausprobieren. „Veröffentlichen“ legt den Commit fest, der Ihnen gezeigt wurde, sodass eine spätere Änderung im Repository ein bereits gestelltes Lab nicht verändert. Starten Sie zuerst Ihre eigene Kopie.
  3. Zuweisen. Weisen Sie es wie jede Aufgabe zu, auf Wunsch mit einem Fälligkeitsdatum, und beschreiben Sie in der Aufgabe, was zu tun ist und was abgegeben werden soll.
  4. Abgaben bewerten. Öffnen Sie die Kopie einer lernenden Person und ihre Abgabe, bewerten Sie sie und geben Sie sie mit einer Begründung zur Überarbeitung zurück, wenn mehr nötig ist.

Dieses Lab ausprobieren, und was es kostet

Mit einem kostenlosen persönlichen Konto können Sie die Grundlagenlektionen in diesem Lab durcharbeiten, mit genug kostenlosem Guthaben pro Monat für die meisten Lektionen und ohne Karte. Für eine Klasse sind die ersten 365 Tage für eine Schule kostenlos, für bis zu 50 Lernende; danach zahlt sie je lernender Person und Jahr, alle Labs inklusive und Lehrkräfte kostenlos.

Häufige Fragen

Gibt es in diesem Lab ein echtes KI-Modell?
Nein. Das Modell ist ein Stellvertreter, der für das Lab geschrieben wurde: ein kurzes Python-Programm, das jede Antwort nach festen Regeln wählt. Es antwortet im selben Format wie die API eines echten Modells, deshalb lässt sich das Gelernte über Anfragen, Token, Streaming und Fehler übertragen, aber seine Worte werden nicht erzeugt. Auf dieselbe Frage gibt es immer dieselbe Antwort, und nur deshalb kann die Lektion sagen, was die Lernenden sehen werden.
Warum ändert temperature nichts?
Ein echtes Modell wählt jedes nächste Token aus den wahrscheinlichen aus, und temperature und seed ändern, wie es wählt. Der Stellvertreter wählt immer dieselbe Antwort, also nimmt er diese Einstellungen an und ignoriert sie. Die Lektion sagt das und fragt die Lernenden, was ein echtes Modell stattdessen tun würde.
Kostet es etwas oder verbraucht es Guthaben für KI?
Es wird keine KI genutzt, also wird dafür nichts berechnet. Das Lab läuft wie jedes andere Container-Lab. Die Preise im Kostenschritt sind ausgedacht, um das Rechnen zu üben.
Warum benutzt das Terminal docker exec tools?
Das Terminal des Labs bringt ein paar Clients mit, darunter curl, aber kein Python. docker exec tools führt einen Befehl im Python-Container des Labs aus, in dem der Client und die Skripte liegen.
Dürfen meine Lernenden etwas Persönliches hineinschicken?
Es geht nirgendwohin: Der Stellvertreter läuft in der eigenen Kopie der lernenden Person, die keinen Weg ins Internet hat. Trotzdem ist es eine gute Gewohnheit zu lehren, dass ein echter Modelldienst alles erhält, was eingetippt wird, und dass nichts Persönliches oder Geheimes in eine Anfrage gehört.