Warum dauert das erste Wort am längsten?
LLM-Inferenz ist die Arbeit, die ein trainiertes Sprachmodell leistet, um Ihnen zu antworten. Sie hat zwei Phasen: Prefill liest Ihre ganze Eingabe, danach schreibt Decode die Antwort Token für Token.
Die beiden Phasen beanspruchen einen Rechner ganz unterschiedlich. Wer weiß, welche langsam ist und warum, hat den Ausgangspunkt jeder Beschleunigung in diesem Modul.
Am Ende dieser Lektion
Notiz
Ich kann erklären, warum Decode durch das Lesen des Speichers begrenzt ist und Prefill nicht.
Schlüsselwörter
| Begriff | Was er bedeutet |
|---|---|
| Inferenz | ein trainiertes Modell ausführen, um eine Ausgabe zu erhalten |
| Durchlauf | ein Lauf des Modells über einige Token |
| Prefill | der erste Durchlauf, der die ganze Eingabe liest |
| Decode | die späteren Durchläufe, jeder mit einem neuen Token |
| Multiplikations-Addition | eine Multiplikation und eine Addition, die Einheit der Modellarbeit |
| Speichergebunden | durch das Lesen des Speichers begrenzt, nicht durch das Rechnen |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Erzeugen ist eine Schleife aus Durchläufen
Ein Modell beantwortet immer nur eine Frage: Was kommt als Nächstes? Für eine Antwort läuft es deshalb in einer Schleife. Der erste Durchlauf liest die Eingabe und liefert das erste neue Token. Das ist Prefill.
Jeder spätere Durchlauf liest das gerade erzeugte Token und liefert ein weiteres. Das ist Decode. Eine Antwort aus 100 Token braucht einen Prefill-Durchlauf und 99 Decode-Durchläufe.
Prefill und Decode im Labor ansehen
docker exec jupyter python3 steps/generate.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Was der Run ausgab
| Zeile | Was sie zeigt |
|---|---|
| prefill: read 12 tokens of the prompt in one pass | Ganz „the cat sat “ auf einmal |
| decode step 1 chose 'o' | Das erste neue Zeichen |
| decode step 10 chose 't' | Der Text lautet jetzt „the cat sat on the mat“ |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Probieren Sie es: Durchläufe zählen
# Ein Ersatzmodell: eine Tabelle, welches Wort auf welches folgt.
NAECHSTES = {"the": "cat", "cat": "sat", "sat": "on", "on": "the"}
eingabe = ["the", "dog", "sat"]
durchlaeufe = 1 # Prefill liest die ganze Eingabe in einem Durchlauf
woerter = [NAECHSTES[eingabe[-1]]]
while len(woerter) < 5:
durchlaeufe = durchlaeufe + 1 # jeder Decode-Durchlauf liest ein neues Wort
woerter.append(NAECHSTES[woerter[-1]])
print("neue Wörter:", woerter)
print("Durchläufe:", durchlaeufe)
# Ändern Sie 5 in 10. Wie viele Durchläufe sind es jetzt?
Jeder Durchlauf liest jedes Gewicht
Ein Modell besteht vor allem aus großen Zahlentabellen, den Gewichten. Ein Durchlauf muss jedes davon aus dem Speicher lesen. Für jedes gelesene Token macht er ungefähr eine Multiplikations-Addition pro Gewicht.
Prefill liest die Gewichte einmal für die ganze Eingabe: Eine Eingabe aus 24 Token leistet die Arbeit von 24 Token für einen Lesevorgang. Decode liest alle Gewichte erneut, nur für die Arbeit eines einzigen Tokens.
Die Arbeit jeder Phase zählen
docker exec jupyter python3 steps/phases.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Durchgerechnetes Beispiel: die zwei Phasen im Labor
| Phase | Durchläufe | Multiplikations-Additionen | Gelesene Bytes | Arbeit pro Byte |
|---|---|---|---|---|
| Prefill, 24 Token | 1 | 30.291 | 50.508 | 0,6 |
| Decode, 24 Token | 24 | 100.680 | 402.720 | 0,2 |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Ein häufiger Fehler
Warnung
Viele glauben, Decode sei langsam, weil es mehr rechnet. Jeder Decode-Durchlauf rechnet weniger als Prefill. Langsam ist er, weil jeder Durchlauf alle Gewichte lesen muss, um ein einziges Token zu erzeugen. Fragen Sie, wie viele Bytes ein Durchlauf liest, nicht nur, wie viele Rechnungen er macht.
Das Speichertempo begrenzt das Decode-Tempo
Ein großes Modell hat Milliarden Gewichte, ein 7B-Modell sieben Milliarden. Mit 2 Bytes pro Gewicht sind das 14 GB, die jeder Decode-Durchlauf lesen muss.
Liefert der Speicher 50 GB pro Sekunde, sind höchstens etwa 3,6 Durchläufe pro Sekunde möglich, egal wie schnell gerechnet wird. Das bedeutet speichergebunden. Das Modell im Labor hat nur 12 KB, seine Zählungen zeigen also die Form, keine echten Geschwindigkeiten.
Probieren Sie es: das beste Decode-Tempo
# Jeder Decode-Durchlauf liest jedes Gewicht einmal, also setzt der Speicher das Tempo.
GB_PRO_SEKUNDE = 50
modelle = [["7B mit 2 Bytes", 7, 2], ["7B mit 1 Byte", 7, 1], ["1B mit 2 Bytes", 1, 2]]
for name, milliarden, bytes_je in modelle:
gb_pro_durchlauf = milliarden * bytes_je
bestenfalls = GB_PRO_SEKUNDE / gb_pro_durchlauf
print(name, "liest", gb_pro_durchlauf, "GB pro Durchlauf, höchstens", round(bestenfalls, 1), "Token pro Sekunde")
# Setzen Sie GB_PRO_SEKUNDE auf 100. Was passiert mit jedem Tempo?