Lässt es sich mit cremefarbenem Papier, einer Tönung, mehr Kontrast oder größerer Schrift besser lesen? Wählen Sie Ihre Farben und Ihre Schrift, einmalig für alle Seiten.

Kostenlose Lektion

Grundlagen von LLM-APIs

Die ganze Lektion ist kostenlos und interaktiv. Lesen Sie sie hier, oder drücken Sie „Lab starten“, um sie wirklich in einem Live-Lab auszuführen, ganz ohne Konto.

Container-Lab11 Min. Lesezeit8 Befehle

Was schickt eine App an einen Chatbot?

Eine Hausaufgabenhilfe oder das Chatfenster eines Onlineshops ist ein Programm. Es schickt deine Worte an ein Sprachmodell und zeigt an, was zurückkommt. In diesem Lab schreibst du die Seite dieses Programms: die Anfrage, die Antwort und das, was schiefgehen kann. Das Modell hier ist ein Stellvertreter. Es antwortet wie ein echtes, gibt aber immer dieselbe Antwort, deshalb kannst du jedes Ergebnis nachprüfen.

Am Ende dieser Lektion

Notiz

Ich kann eine Anfrage an die API eines Sprachmodells schicken und jeden Teil seiner Antwort lesen.

Schlüsselwörter

  • API: ein Weg, auf dem ein Programm ein anderes um etwas bittet.
  • Nachricht: ein Redebeitrag in einem Gespräch, mit einer Rolle und einem Text.
  • Rolle: von wem eine Nachricht kommt: system, user oder assistant.
  • Token: ein kleines Stück Text, das ein Modell liest oder schreibt.
  • Stream: eine Antwort, die in Stücken geschickt wird, während sie entsteht.

Zum Start: Was du schon weißt

Notiz

Antworte im Kopf. 1. Was bedeutet der HTTP-Status 200? 2. Was steht in JSON zwischen den geschweiften Klammern {}? 3. Wenn eine Website überlastet ist, versuchst du es besser sofort noch einmal oder nach einer Pause? Antworten: Es hat geklappt; Namen und Werte; nach einer Pause.

Bevor du anfängst

Notiz

Klicke oben in der Leiste dieser Lektion auf Lab starten und warte, bis dort steht, dass es läuft. Es gibt zwei Container. model ist der Stellvertreter und antwortet unter http://model:4000/v1, und das curl im Terminal erreicht ihn direkt. tools enthält das Python des Labs, und docker exec tools führt einen Befehl darin aus. Jede Schaltfläche Ausführen unten tippt ihren Befehl ins Terminal deines Labs, einen nach dem anderen in derselben Sitzung. Wenn du zuschauen oder eigene Befehle tippen willst, klicke in der Leiste auf Terminal öffnen (neuer Tab).

Die Anfrage ist JSON, die Antwort auch

Der erste Befehl fragt, welche Modelle es gibt: eines, es heißt lab. Der zweite schickt eine Nachricht der Rolle user. In der Antwort steht unter choices der Text „The capital of France is Paris.“, und finish_reason ist stop: Die Antwort hat von selbst aufgehört. usage zählt 15 Token hinein und 10 heraus.

Befehl
curl -s -w "\n" http://model:4000/v1/models

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Befehl
curl -s -w "\n" http://model:4000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"lab","messages":[{"role":"user","content":"What is the capital of France?"}]}'

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Die Systemnachricht setzt die Regeln, und nichts wird behalten

Dreimal dieselbe Frage. Eine Systemnachricht „Answer in capital letters.“ liefert die Antwort in Großbuchstaben, und „Only answer questions about cooking.“ liefert eine höfliche Absage. Dann schreibt der Nutzer „My name is Sam.“ Der Name ist nur bekannt, wenn die früheren Nachrichten noch einmal mitgeschickt werden. Das Modell merkt sich zwischen zwei Anfragen nichts: Das erledigt dein Programm.

Befehl
docker exec tools python3 steps/roles.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Token sind das, wofür du bezahlst

Der Stellvertreter zerlegt „The lighthouse keeper counted ships.“ in 11 Token. Eine ganze Geschichte brauchte 14 Token hinein und 66 heraus. Mit max_tokens 12 bricht die Antwort mitten im Wort ab, und finish_reason ist length. Bei ausgedachten Preisen von 50 Pence pro Million Token hinein und 200 heraus kostet eine Anfrage 0,0139 Pence, und 1.200 Anfragen kosten 16,68 Pence.

Befehl
docker exec tools python3 steps/tokens.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Prüfe dich

Tipp

Eine Antwort endet mit finish_reason length. Was ist passiert? Antwort: Sie hat max_tokens erreicht und wurde abgeschnitten, sie ist also vielleicht unvollständig. Erlaube mehr Token oder stelle eine kürzere Frage.

Sampling-Einstellungen ändern, wie ein echtes Modell wählt

Ein echtes Modell wählt jedes nächste Token aus den wahrscheinlichen aus. Bei einer temperature nahe 0 nimmt es fast immer das wahrscheinlichste, bei höheren Werten geht es mehr Risiko ein. Ein seed wiederholt eine Wahl. Das Skript schickt fünf Einstellungen und bekommt eine einzige Antwort: „the same every time: True“. Der Stellvertreter ignoriert sie, ein echtes Modell würde das nicht tun.

Befehl
docker exec tools python3 steps/sampling.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Strukturierte Ausgabe ist JSON, das dein Programm prüft

Mit freiem Text kann ein Programm wenig anfangen. Hier bietet die Anfrage ein Werkzeug an, record_person, mit einem Schema, und zwingt das Modell, es aufzurufen. Die Antwort heißt tool_calls, mit Argumenten als Text: {"name": "Aiko", "age": 17, "city": "Leeds"}. Das Skript parst das, prüft jeden Typ und rechnet dann mit dem Alter als Zahl.

Befehl
docker exec tools python3 steps/structured.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Streams kommen in Stücken, und Fehler brauchen einen Plan

Mit "stream":true kommt die Antwort als 14 Ereignisse: ein leerer Anfang, eines pro Token, ein Ende, die Zählung von usage und dann [DONE]. Danach schickt das Skript #busy, das der Stellvertreter in zwei von drei Fällen mit 429 ablehnt. Es wartet 1 Sekunde, dann 2, und der dritte Versuch klappt. #broken scheitert immer, also gibt das Skript auf. Ein 400 wird nie wiederholt.

Befehl
curl -sN http://model:4000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"lab","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"What is the capital of France?"}]}'

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Befehl
docker exec tools python3 steps/retry.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Ein häufiger Fehler

Warnung

Viele glauben, das Modell erinnere sich an das Gespräch. Das tut es nicht: Jede Anfrage steht für sich, und das Modell kennt nur die Nachrichten, die darin stehen. Eine Chat-App schickt jedes Mal das ganze Gespräch noch einmal, deshalb brauchen lange Chats mehr Token und kosten mehr.

Abschlusscheck

Tipp

Antworte, ohne zurückzuschauen. 1. Welche Rolle setzt die Regeln für ein Gespräch? 2. Was bedeutet finish_reason length? 3. Warum parst und prüfst du strukturierte Ausgabe? 4. Welche Fehler lohnt es sich zu wiederholen? Antworten: system; die Antwort hat max_tokens erreicht; sie ist nur Text, bis dein Programm sie geprüft hat; Überlastungen wie 429, nach einer wachsenden Pause.

Für Lehrkräfte

Tipp

Diese Lektion ist ein kleines Beispiel für eine Lektion, die in einem Lab bearbeitet wird: Die Schritte und die Schaltflächen „Ausführen“ sind die Lektion, und das Lab ist die eigene Kopie jeder lernenden Person. Das Lab besteht aus zwei Diensten mit demselben Python-Image: einem Stellvertreter-Modell, das im Format einer echten Modell-API nach festen Regeln antwortet, und einem Python mit einem Client und kurzen Skripten. Kein echtes Modell wird aufgerufen, es kostet also nichts, und jede Ausgabe ist immer gleich. Kernpunkte: 1. Eine Anfrage ist eine Liste von Nachrichten, jede mit einer Rolle. 2. Das Modell kennt nur, was jede Anfrage mitschickt. 3. Token begrenzen eine Antwort und bestimmen ihren Preis. 4. Strukturierte Ausgabe muss geparst und geprüft werden. Häufiger Fehler: glauben, das Modell erinnere sich. Material: das Lab und ein Browser. Tipp: Lassen Sie die Lernenden jede Ausgabe vorhersagen, bevor sie auf „Ausführen“ klicken, und danach sagen, was ein echtes Modell anders machen würde. Kopieren Sie die Lektion in Ihr eigenes Modul und ändern Sie sie, oder bauen Sie im Lektionseditor über das Menü Lab eine neue von Grund auf.

Über dieses Lab und seinen Quellcode: LLM-Werkbank-Lab: die API eines Sprachmodells zum Üben, mit einem Stellvertreter-Modell

Sie unterrichten eine Klasse? Weisen Sie diese Lektionen Ihren Lernenden zu, mit Bewertung und einem Lab für jede lernende Person.