LLM-Inferenz-Lab: ein winziges Sprachmodell auf einer CPU, mit KV-Cache, Batching und int8

Dieses Lab gibt jeder lernenden Person ein eigenes JupyterLab mit einem winzigen Sprachmodell in NumPy, kurz genug, um es ganz zu lesen: Es liest Zeichen, hat eine Attention-Schicht und führt einen KV-Cache. Es wird beim Start des Labs in weniger als einer Sekunde aus einem festen Text und einem festen Seed trainiert, sodass jede Kopie dasselbe Modell hat. Kurze Skripte zeigen, wie Inferenz funktioniert und wie Server sie beschleunigen, und geben jedes Mal dasselbe aus, weil sie Arbeit zählen statt Zeit zu messen.

Das Modell ist viel zu klein, um nützlich zu sein, und das Lab sagt das auch: Es zeigt nur den Mechanismus. Es gibt keine GPU, nichts wird heruntergeladen, und kein KI-Dienst wird aufgerufen. Es ist auch kein Angriffs-Lab: Jede Kopie hat weder eine Verbindung ins Internet noch zu anderen Lernenden.

Was die Lernenden lernen

Wie ein Sprachmodell antwortet: Ein Prefill-Durchlauf liest die Eingabe, dann erzeugt je ein Decode-Durchlauf ein neues Token, und warum Decode durch das Lesen des Speichers begrenzt ist. Sie erzeugen dieselben 32 Zeichen mit und ohne KV-Cache und zählen 880 Zeilen mit Schlüsseln und Werten gegen 43. Sie planen sechs Anfragen auf drei Plätzen ein und sehen, dass Continuous Batching nach 9 Schritten fertig ist, wo statisches Batching 14 braucht. Sie decodieren spekulativ mit einem kleinen Entwurfsmodell, 13 Durchläufe für 32 Zeichen bei gleichem Text, und quantisieren das Modell auf int8, 12108 Bytes auf 3543, mit demselben nächsten Zeichen an jeder geprüften Stelle. Das passt zu einem zweiten Kurs über maschinelles Lernen oder über die Leistung von Systemen; prüfen Sie die genaue Formulierung in der Einheit Ihrer eigenen Prüfungsstelle, hier wird keine zitiert.

Im Browser ausführen

Das Lab startet einen Dienst, jupyter, der das Modell, ein Trainingsskript, eine Hilfe für int8, ein Skript zum Messen, ein Start-Notebook und die kurzen Skripte in seinen Arbeitsordner schreibt und dann das Modell trainiert, ohne etwas herunterzuladen. JupyterLab fragt nach keinem Token, weil die Tür der Plattform bereits weiß, wer es öffnet. Das Terminal neben dem Lab hat kein eigenes Python, es erreicht das des Labs mit docker exec jupyter, gefolgt vom Befehl, der darin ausgeführt wird.

  1. Container-Seite öffnen. Öffnen Sie in der Leiste „Entwickeln“ und wählen Sie „Einen Container ausführen“. Die Seite kann jeder öffnen, und das Git-Lab und das SQL-Lab starten ohne Konto. Alle anderen Labs brauchen ein kostenloses Konto: Erstellen Sie eines, melden Sie sich an und klicken Sie dann auf „Starten“.
  2. Lab suchen. Die Karte „Beispiel-Labs“ listet alle Beispiele auf. Suchen Sie LLM-Inferenz: ein kleines Modell auf der CPU.
  3. Auf „Starten“ klicken. „Starten“ führt das Lab unverändert mit einem einzigen Klick aus. „Zuerst die Datei bearbeiten“ öffnet die Compose-Datei, damit Sie sie vor dem Start ändern können.
  4. Öffnen. Auf der Seite des Labs hat die Lab-Leiste einen Link namens JupyterLab: Klicken Sie darauf, um JupyterLab im Browser zu öffnen, und lesen Sie tiny.py im Dateieditor. Klicken Sie dann auf „Terminal öffnen“ und tippen Sie docker exec jupyter python3 steps/cache.py, um denselben Text mit und ohne KV-Cache erzeugt zu sehen, mit der Arbeit auf beiden Wegen.

Was die Lernenden abgeben sollen

Ein eigenes Notebook, das mit tiny.py eine selbst gewählte Frage beantwortet, etwa wie die Arbeit eines Decode-Schritts mit der Länge des Textes wächst, wie stark sich das nächste Zeichen ändert, wenn die Gewichte mit einer Skala statt einer pro Zeile quantisiert werden, oder wie sich die Annahmequote des spekulativen Decodings mit der Zahl der Vorschläge ändert, aus JupyterLab mit File, Download heruntergeladen. Dazu ein, zwei Sätze in eigenen Worten dazu, was sie herausgefunden haben. Nichts wird automatisch bewertet: Der Satz zeigt, ob es verstanden wurde.

Eine Grundlagenlektion zu diesem Lab

LLM Inference Basics ist eine kleine Lektion, die in diesem Lab abläuft. Darin liest eine lernende Person das Trainingsprotokoll, sieht Prefill und dann Decode, vergleicht einen KV-Cache mit keinem, plant Anfragen auf beide Arten ein, decodiert spekulativ und quantisiert das Modell auf int8. Das Modul „Wie die Inferenz eines Sprachmodells funktioniert, auf einer CPU“ wird im selben Lab bearbeitet, mit sechs Lektionen und sechs bewerteten Aufgaben.

Kostenlose persönliche Konten haben sie im Modul Basics auf der Startseite, und jede Hochschule kann sie aus dem Ordner Basics der Bibliothek kopieren. Sie ist absichtlich klein: Sie zeigt einer Lehrkraft, was eine Lektion in einem Lab ist, und das Lab erledigt den Rest. Kopieren Sie sie in ein eigenes Modul, um sie zu ändern.

Der Code auf GitHub

Die Compose-Datei hat kein Dockerfile: Sie startet ein einziges öffentliches Standard-Image, das scipy-notebook der Jupyter Docker Stacks selbst, auf ein datiertes Tag festgelegt, mit einem eigenen Konto ohne Sonderrechte und 512 MB Speicher, und das Modell nutzt nur NumPy. Das Image steht unter BSD-3-Clause und wird nicht von uns verteilt. Die Datei schreibt beim Start jede Python-Datei aus festem Text und trainiert mit einem festen Seed, deshalb gibt jede Kopie dasselbe aus und nichts wird heruntergeladen. Die Grenzen sind ehrlich: Das Modell ist winzig und sein Text nur ein paar Wörter lang plausibel, die echten Zeiten im Notebook ändern sich von Lauf zu Lauf, und beim Stoppen des Labs bleibt nichts erhalten, deshalb laden die Lernenden ihr Notebook vorher herunter.

Als Aufgabe stellen

Schreiben Sie in die Aufgabe, was abzugeben ist.

  1. Lab erstellen. Fügen Sie in Ihrem Modul eine Aufgabe hinzu und wählen Sie die Karte „Container-Lab“, dann „In einem GitHub-Repository“. Geben Sie https://github.com/mitsurutech/lab-inference-lab mit dem Branch main an. Die Compose-Datei ist standardmäßig compose.yaml. Forken Sie das Repository zuerst, wenn Sie es ändern möchten, zum Beispiel um das Modell auf einem eigenen Text zu trainieren.
  2. Veröffentlichen und ausprobieren. „Veröffentlichen“ legt den Commit fest, den Sie gesehen haben. Eine spätere Änderung im Repository verändert also kein Lab, das Sie bereits gestellt haben. Starten Sie zuerst Ihre eigene Kopie.
  3. Zuweisen. Weisen Sie es wie jede Aufgabe zu, auf Wunsch mit Fälligkeitsdatum, und schreiben Sie in die Aufgabe, was zu tun ist und was abgegeben werden soll.
  4. Abgaben bewerten. Öffnen Sie die Kopie einer lernenden Person und die abgegebene Arbeit, bewerten Sie sie und geben Sie sie mit einer Begründung zur Überarbeitung zurück, wenn mehr nötig ist.

Dieses Lab ausprobieren, und was es kostet

Mit einem kostenlosen persönlichen Konto können Sie die Grundlagenlektionen in diesem Lab durcharbeiten, mit genug kostenlosem Guthaben pro Monat für die meisten Lektionen und ohne Karte. Für eine Klasse sind die ersten 365 Tage für eine Schule kostenlos, für bis zu 50 Lernende; danach zahlt sie je lernender Person und Jahr, alle Labs inklusive und Lehrkräfte kostenlos.

Häufige Fragen

Warum muss ich kein Token und kein Passwort eingeben?
Die Webseite eines Labs ist nur über die Tür der Plattform erreichbar, die bereits weiß, wer Sie sind, und nur Sie und die Lehrkräfte Ihres Moduls hineinlässt. Deshalb wird JupyterLab ohne Token gestartet. Betreiben Sie es so nicht auf einer Maschine, die andere erreichen können.
Warum benutzt das Terminal docker exec jupyter?
Das Terminal des Labs bringt ein paar Clients mit, aber kein Python. docker exec jupyter führt einen Befehl im Container des Labs aus, der Python hat. JupyterLab hat auch ein eigenes Terminal unter File, New, Terminal.
Ist das ein echtes Sprachmodell?
Es ist ein echtes, nur sehr klein: Es liest Zeichen, hat eine Attention-Schicht und etwa 4.400 Zahlen und wurde auf einem einzigen Absatz trainiert. Sein Text ist nur ein paar Wörter lang plausibel. Jede Idee, die es zeigt, also Cache, Batching, spekulatives Decoding und int8, funktioniert in einem großen Modell genauso; nur die Größen ändern sich.
Warum zählen die Skripte Arbeit, statt Zeit zu messen?
Eine echte Uhr liefert bei jedem Lauf und auf jeder Maschine eine andere Zahl, eine Lektion könnte also nicht sagen, was die Lernenden sehen. Die Skripte zählen Multiplikations-Additionen und gelesene Bytes, die jedes Mal gleich sind. Das Notebook hat eine Zelle, die das Modell zum Vergleich wirklich misst, aufgewärmt und wiederholt.
Braucht es eine GPU?
Nein. Das Modell ist klein genug für jede CPU, und das Lab ist ein JupyterLab mit NumPy. Eine echte Serving-Engine auf einer GPU tut dasselbe in viel größerem Maßstab; das Lab bildet die Ideen nach, und die Lektionen sagen, was es weglässt.