Lässt es sich mit cremefarbenem Papier, einer Tönung, mehr Kontrast oder größerer Schrift besser lesen? Wählen Sie Ihre Farben und Ihre Schrift, einmalig für alle Seiten.

Kostenlose Lektion

Batching und Continuous Batching

Nach dieser Lektion: Ich kann Anfragen mit statischem und kontinuierlichem Batching einplanen und beide vergleichen.

Lektion, 60 Min.2 BefehleLLM-Inferenz-Lab: ein winziges Sprachmodell auf einer CPU, mit KV-Cache, Batching und int8

Ein Modell, viele Personen gleichzeitig

Continuous Batching ist die Art, wie ein Server mit Sprachmodell viele Personen gleichzeitig bedient. Er decodiert ihre Anfragen gemeinsam und nimmt eine neue auf, sobald eine andere fertig ist.

Ein Server, der eine Person nach der anderen bedient, verschwendet die meisten seiner Lesevorgänge. Batching ist der wichtigste einzelne Grund, warum ein geteiltes Modell bezahlbar ist.

Am Ende dieser Lektion

Notiz

Ich kann Anfragen mit statischem und kontinuierlichem Batching einplanen und beide vergleichen.

Schlüsselwörter

BegriffWas er bedeutet
Anfragedie Eingabe einer Person und die Antwort, die sie braucht
Stapel (Batch)Anfragen, die gemeinsam in einem Durchlauf decodiert werden
Platzeine Stelle für eine Anfrage im Stapel
Statisches Batchingein neuer Stapel beginnt erst, wenn der letzte endet
Continuous Batchingein freier Platz wird im nächsten Schritt gefüllt
DurchsatzToken pro Sekunde, die der ganze Server erzeugt

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Ein Stapel teilt sich ein Lesen der Gewichte

Ein Decode-Durchlauf liest jedes Gewicht, um ein Token zu erzeugen. Werden acht Anfragen im selben Durchlauf decodiert, werden die Gewichte einmal gelesen und achtmal genutzt.

Jede Anfrage braucht weiter ihre eigenen Rechnungen und ihren eigenen KV-Cache. Geteilt wird nur das Lesen der Gewichte, und bei einem großen Modell ist genau das der langsame Teil.

Lesevorgänge bei vier Stapelgrößen zählen

Befehl
docker exec jupyter python3 steps/share.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Beispiel: acht Decode-Durchläufe je Größe

StapelErzeugte TokenGelesene Gewichtsbytes pro TokenMultiplikations-Additionen pro Token
1812.1083.427
2166.0543.427
4323.0273.427
8641.5133.427

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Was eine CPU zeigt

Notiz

Dieses Modell hat 12 KB, seine Gewichte liegen also im schnellen Cache der CPU, und sie zu lesen ist billig. Seine echten Zeiten in der Notebook-Zelle Real timings gewinnen viel weniger als die Stapelgröße. Ein großes Modell auf einer GPU gewinnt viel mehr, weil dort das Lesen der langsame Teil ist.

Statisches Batching wartet auf die Langsamste

Anfragen wollen unterschiedlich lange Antworten. Beim statischen Batching startet ein Stapel gemeinsam, und der Server nimmt keine neue Anfrage an, bis jede darin fertig ist.

Eine Anfrage mit 2 Token ist früh fertig, und ihr Platz bleibt leer, während eine lange weiterläuft. Neue Anfragen warten die ganze Zeit draußen.

Sechs Anfragen auf beide Arten einplanen

Befehl
docker exec jupyter python3 steps/batch.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Beispiel: drei Plätze, sechs Anfragen

AnfrageKommt in SchrittTokenFertig, statischFertig, kontinuierlich
A0888
B0222
C0333
D12104
E26149
F32106

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Continuous Batching füllt einen Platz sofort

Beim Continuous Batching sucht der Server vor jedem Schritt nach einem freien Platz. Als B in Schritt 2 fertig war, übernahm D seinen Platz im nächsten Schritt, statt auf A zu warten.

Der Stapel wird nie als Ganzes geleert und neu gefüllt. Jede Anfrage kommt und geht für sich, deshalb warten kurze Anfragen nicht mehr hinter langen.

Ein häufiger Fehler

Warnung

Viele glauben, Batching bringe jede Antwort früher zurück. Es erhöht die Token pro Sekunde des ganzen Servers. Eine einzelne Anfrage kann auf einen Platz warten, und ein größerer Stapel kann jeden Schritt etwas langsamer machen. Messen Sie den Durchsatz und die Wartezeit jeder Person.

Probieren Sie es: Speicher bestimmt die Plätze

Code: python
# Wie viele Anfragen passen neben die Gewichte? Jede braucht ihren eigenen KV-Cache.
speicher_gb = 24
gewichte_gb = 14
cache_gb_pro_anfrage = 1
plaetze = (speicher_gb - gewichte_gb) // cache_gb_pro_anfrage
print("Anfragen, die gleichzeitig passen:", plaetze)
# Quantisieren Sie die Gewichte auf 7 GB. Wie viele passen jetzt?

Über dieses Lab und seinen Quellcode: LLM-Inferenz-Lab: ein winziges Sprachmodell auf einer CPU, mit KV-Cache, Batching und int8

Sie unterrichten eine Gruppe? Weisen Sie dieses Modul Ihren Studierenden zu, mit Handbuch für Lehrende, automatisch geprüften Aufgaben und einem Lab für jede Person.