Lässt es sich mit cremefarbenem Papier, einer Tönung, mehr Kontrast oder größerer Schrift besser lesen? Wählen Sie Ihre Farben und Ihre Schrift, einmalig für alle Seiten.

Kostenlose Lektion

Grundlagen der LLM-Inferenz

Die ganze Lektion ist kostenlos und interaktiv. Lesen Sie sie hier, oder drücken Sie „Lab starten“, um sie wirklich in einem Live-Lab auszuführen, ganz ohne Konto.

Container-Lab11 Min. Lesezeit7 Befehle

Warum tippt ein Chatbot seine Antwort?

Wenn du einem Chatbot eine Frage stellst, erscheint die Antwort Wort für Wort. Das ist keine Show: Das Modell erzeugt wirklich ein Token, dann das nächste. In diesem Lab bekommst du ein winziges Sprachmodell, dem du dabei zusehen kannst, und du machst es so schneller, wie echte Server es tun. Es liest Zeichen und ist viel zu klein, um nützlich zu sein.

Am Ende dieser Lektion

Notiz

Ich kann erklären, wie ein Sprachmodell eine Antwort Token für Token schreibt.

Schlüsselwörter

  • Inferenz: ein trainiertes Modell ausführen, um eine Antwort zu bekommen.
  • Token: ein Stück Text, das das Modell liest oder schreibt. Hier ist es ein Zeichen.
  • Prefill: der erste Durchlauf, der die ganze Eingabe liest.
  • Decode: jeder spätere Durchlauf, der ein neues Token erzeugt.
  • KV-Cache: die Schlüssel und Werte früherer Token, aufbewahrt, damit sie nicht neu berechnet werden.
  • Quantisieren: Zahlen in weniger Bytes speichern, mit einer Skala, um sie zurückzurechnen.

Zum Start: Was du schon weißt

Notiz

Antworte im Kopf. 1. Was macht eine Schleife? 2. Wenn du eine lange Seite zweimal liest, dauert das länger oder kürzer, als sie einmal zu lesen? 3. Was braucht weniger Platz, die Zahl 0,3014 oder die Zahl 30? Antworten: Sie wiederholt einen Schritt; länger; 30.

Bevor du anfängst

Notiz

Klicke oben in der Leiste dieser Lektion auf Lab starten und warte, bis dort steht, dass es läuft. Es gibt einen Container, jupyter, und das Terminal erreicht sein Python mit docker exec jupyter, das einen Befehl darin ausführt. Der Link JupyterLab öffnet seine Webseite, Port 8888. Jede Schaltfläche Ausführen unten tippt ihren Befehl ins Terminal deines Labs, einen nach dem anderen in derselben Sitzung. Wenn du zuschauen oder eigene Befehle tippen willst, klicke in der Leiste auf Terminal öffnen (neuer Tab).

Das Modell wurde beim Start des Labs trainiert

ls listet den Arbeitsordner auf: das Modell tiny.py, die Datei mit den Gewichten model.npz, das Notebook, den Ordner steps und train.log. Dieses Protokoll ist das, was das Training ausgegeben hat. Der Verlust, also wie überrascht das Modell vom nächsten Zeichen ist, fiel in 2000 Schritten von 2,944 auf 0,317, auf einem Text aus 242 Zeichen mit 19 verschiedenen Zeichen.

Befehl
docker exec jupyter ls

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Befehl
docker exec jupyter cat train.log

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Ein Durchlauf liest die Eingabe, dann einer pro Token

Das Skript gibt dem Modell die Eingabe „the cat sat “. Die erste Zeile sagt, dass es alle 12 Zeichen in einem Durchlauf gelesen hat: Das ist Prefill. Danach ist jede Zeile ein Decode-Durchlauf, der ein Zeichen wählt, bis der Text „the cat sat on the mat“ lautet. Das Modell hat an einem englischen Text gelernt, daher seine Wörter.

Befehl
docker exec jupyter python3 steps/generate.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Ein KV-Cache spart das erneute Lesen

Das Skript schreibt 32 Zeichen zweimal: einmal so, dass bei jedem Durchlauf der ganze Text neu gelesen wird, und einmal mit einem KV-Cache. Der Text ist auf beiden Wegen gleich. Ohne Cache hat das Modell 880 Zeilen mit Schlüsseln und Werten berechnet, mit Cache 43. Der Cache hat 8,8-mal weniger Arbeit gemacht.

Befehl
docker exec jupyter python3 steps/cache.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Prüfe dich

Tipp

Warum hat der Cache den Text nicht verändert? Antwort: Er speichert dieselben Schlüssel und Werte, die das Modell sonst neu berechnen würde, also ist jede Wahl gleich. Er ändert die Arbeit, nicht die Antwort.

Batching teilt die Arbeit zwischen Personen

Ein Server bedient mehrere Personen gleichzeitig, auf Plätzen. Das Skript plant sechs Anfragen auf drei Plätzen auf zwei Arten ein. Statisches Batching wartet, bis ein ganzer Stapel fertig ist: 14 Schritte, Plätze zu 55 % belegt. Continuous Batching füllt einen freien Platz im nächsten Schritt: 9 Schritte, 85 % belegt.

Befehl
docker exec jupyter python3 steps/batch.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Ein kleines Modell rät, das große prüft

Beim spekulativen Decoding rät ein winziges Entwurfsmodell vier Zeichen, und das Modell prüft sie in einem Durchlauf. Es behält die Vorschläge bis zum ersten falschen. Jede Zeile ist eine Runde. Am Ende ist der Text derselbe wie beim einfachen Decoding (True), erzeugt in 13 statt 32 Durchläufen.

Befehl
docker exec jupyter python3 steps/speculate.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Int8 speichert jedes Gewicht in einem Byte

Das Skript rundet jedes Gewicht auf eine ganze Zahl von -127 bis 127, mit einer Skala für jede Zeile. Die Gewichte schrumpfen von 12108 Bytes auf 3543. Das Modell wählt an 64 von 64 Stellen weiter dasselbe nächste Zeichen und schreibt dieselbe Antwort.

Befehl
docker exec jupyter python3 steps/quantise.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Ein häufiger Fehler

Warnung

Viele denken, diese Tricks machen das Modell klüger. Keiner davon ändert, was es schreibt: Cache, Batching und spekulatives Decoding liefern genau denselben Text, und int8 lieferte hier denselben Text. Sie ändern die Kosten: wie viel Arbeit, wie viel Speicher und wie lange. Prüfe immer, ob die Antwort gleich geblieben ist.

Dieselbe Arbeit im Notebook

Öffne JupyterLab in der Leiste und doppelklicke auf start.ipynb. Klicke auf eine Zelle und drücke Umschalt und Eingabe, um sie auszuführen. Die Zelle unter Real timings misst das Modell mit einer echten Uhr, ihre Zahlen ändern sich also von Lauf zu Lauf. In die letzte Zelle kommt deine eigene Frage.

Abschlusscheck

Tipp

Antworte, ohne zurückzuschauen. 1. Wie heißt der erste Durchlauf, der die Eingabe liest? 2. Wie viele Token erzeugt ein Decode-Durchlauf? 3. Was hat der KV-Cache gespart? 4. Hat int8 die Antwort hier verändert? Antworten: Prefill; eines; das Neuberechnen der Schlüssel und Werte, 880 Zeilen gegen 43; nein.

Für Lehrkräfte

Tipp

Diese Lektion ist ein kleines Beispiel für eine Lektion, die in einem Lab bearbeitet wird: Die Schritte und die Schaltflächen „Ausführen“ sind die Lektion, und das Lab ist die eigene Kopie jeder lernenden Person. Das Lab ist ein Dienst, JupyterLab mit einem winzigen Zeichenmodell in NumPy, das beim Start trainiert wird, und nichts hier bewertet sich selbst: Die Lernenden geben ein eigenes Notebook ab, aus JupyterLab heruntergeladen, und einen Satz dazu, was es gezeigt hat. Kernpunkte: 1. Ein Modell schreibt nach einem Prefill-Durchlauf ein Token pro Durchlauf. 2. KV-Cache, Batching und spekulatives Decoding ändern die Kosten, nicht den Text. 3. Int8 schrumpft die Gewichte auf etwa ein Viertel. Häufiger Fehler: glauben, diese Tricks änderten die Antwort. Material: das Lab und ein Browser. Tipp: Lassen Sie die Lernenden die Ersparnis des Caches vorhersagen, bevor sie das Skript ausführen. Das Modul „Wie die Inferenz eines Sprachmodells funktioniert, auf einer CPU“ wird im selben Lab bearbeitet. Kopieren Sie die Lektion in Ihr eigenes Modul und ändern Sie sie, oder bauen Sie im Lektionseditor über das Menü Lab eine neue von Grund auf.

Über dieses Lab und seinen Quellcode: LLM-Inferenz-Lab: ein winziges Sprachmodell auf einer CPU, mit KV-Cache, Batching und int8

Sie unterrichten eine Klasse? Weisen Sie diese Lektionen Ihren Lernenden zu, mit Bewertung und einem Lab für jede lernende Person.