Ein Modell, viele Personen gleichzeitig
Continuous Batching ist die Art, wie ein Server mit Sprachmodell viele Personen gleichzeitig bedient. Er decodiert ihre Anfragen gemeinsam und nimmt eine neue auf, sobald eine andere fertig ist.
Ein Server, der eine Person nach der anderen bedient, verschwendet die meisten seiner Lesevorgänge. Batching ist der wichtigste einzelne Grund, warum ein geteiltes Modell bezahlbar ist.
Am Ende dieser Lektion
Notiz
Ich kann Anfragen mit statischem und kontinuierlichem Batching einplanen und beide vergleichen.
Schlüsselwörter
| Begriff | Was er bedeutet |
|---|---|
| Anfrage | die Eingabe einer Person und die Antwort, die sie braucht |
| Stapel (Batch) | Anfragen, die gemeinsam in einem Durchlauf decodiert werden |
| Platz | eine Stelle für eine Anfrage im Stapel |
| Statisches Batching | ein neuer Stapel beginnt erst, wenn der letzte endet |
| Continuous Batching | ein freier Platz wird im nächsten Schritt gefüllt |
| Durchsatz | Token pro Sekunde, die der ganze Server erzeugt |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Ein Stapel teilt sich ein Lesen der Gewichte
Ein Decode-Durchlauf liest jedes Gewicht, um ein Token zu erzeugen. Werden acht Anfragen im selben Durchlauf decodiert, werden die Gewichte einmal gelesen und achtmal genutzt.
Jede Anfrage braucht weiter ihre eigenen Rechnungen und ihren eigenen KV-Cache. Geteilt wird nur das Lesen der Gewichte, und bei einem großen Modell ist genau das der langsame Teil.
Lesevorgänge bei vier Stapelgrößen zählen
docker exec jupyter python3 steps/share.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Beispiel: acht Decode-Durchläufe je Größe
| Stapel | Erzeugte Token | Gelesene Gewichtsbytes pro Token | Multiplikations-Additionen pro Token |
|---|---|---|---|
| 1 | 8 | 12.108 | 3.427 |
| 2 | 16 | 6.054 | 3.427 |
| 4 | 32 | 3.027 | 3.427 |
| 8 | 64 | 1.513 | 3.427 |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Was eine CPU zeigt
Notiz
Dieses Modell hat 12 KB, seine Gewichte liegen also im schnellen Cache der CPU, und sie zu lesen ist billig. Seine echten Zeiten in der Notebook-Zelle Real timings gewinnen viel weniger als die Stapelgröße. Ein großes Modell auf einer GPU gewinnt viel mehr, weil dort das Lesen der langsame Teil ist.
Statisches Batching wartet auf die Langsamste
Anfragen wollen unterschiedlich lange Antworten. Beim statischen Batching startet ein Stapel gemeinsam, und der Server nimmt keine neue Anfrage an, bis jede darin fertig ist.
Eine Anfrage mit 2 Token ist früh fertig, und ihr Platz bleibt leer, während eine lange weiterläuft. Neue Anfragen warten die ganze Zeit draußen.
Sechs Anfragen auf beide Arten einplanen
docker exec jupyter python3 steps/batch.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Beispiel: drei Plätze, sechs Anfragen
| Anfrage | Kommt in Schritt | Token | Fertig, statisch | Fertig, kontinuierlich |
|---|---|---|---|---|
| A | 0 | 8 | 8 | 8 |
| B | 0 | 2 | 2 | 2 |
| C | 0 | 3 | 3 | 3 |
| D | 1 | 2 | 10 | 4 |
| E | 2 | 6 | 14 | 9 |
| F | 3 | 2 | 10 | 6 |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Continuous Batching füllt einen Platz sofort
Beim Continuous Batching sucht der Server vor jedem Schritt nach einem freien Platz. Als B in Schritt 2 fertig war, übernahm D seinen Platz im nächsten Schritt, statt auf A zu warten.
Der Stapel wird nie als Ganzes geleert und neu gefüllt. Jede Anfrage kommt und geht für sich, deshalb warten kurze Anfragen nicht mehr hinter langen.
Ein häufiger Fehler
Warnung
Viele glauben, Batching bringe jede Antwort früher zurück. Es erhöht die Token pro Sekunde des ganzen Servers. Eine einzelne Anfrage kann auf einen Platz warten, und ein größerer Stapel kann jeden Schritt etwas langsamer machen. Messen Sie den Durchsatz und die Wartezeit jeder Person.
Probieren Sie es: Speicher bestimmt die Plätze
# Wie viele Anfragen passen neben die Gewichte? Jede braucht ihren eigenen KV-Cache.
speicher_gb = 24
gewichte_gb = 14
cache_gb_pro_anfrage = 1
plaetze = (speicher_gb - gewichte_gb) // cache_gb_pro_anfrage
print("Anfragen, die gleichzeitig passen:", plaetze)
# Quantisieren Sie die Gewichte auf 7 GB. Wie viele passen jetzt?