Lässt es sich mit cremefarbenem Papier, einer Tönung, mehr Kontrast oder größerer Schrift besser lesen? Wählen Sie Ihre Farben und Ihre Schrift, einmalig für alle Seiten.

Kostenlose Lektion

Prefill und Decode bei der LLM-Inferenz

Nach dieser Lektion: Ich kann erklären, warum Decode durch das Lesen des Speichers begrenzt ist und Prefill nicht.

Lektion, 60 Min.2 BefehleLLM-Inferenz-Lab: ein winziges Sprachmodell auf einer CPU, mit KV-Cache, Batching und int8

Warum dauert das erste Wort am längsten?

LLM-Inferenz ist die Arbeit, die ein trainiertes Sprachmodell leistet, um Ihnen zu antworten. Sie hat zwei Phasen: Prefill liest Ihre ganze Eingabe, danach schreibt Decode die Antwort Token für Token.

Die beiden Phasen beanspruchen einen Rechner ganz unterschiedlich. Wer weiß, welche langsam ist und warum, hat den Ausgangspunkt jeder Beschleunigung in diesem Modul.

Am Ende dieser Lektion

Notiz

Ich kann erklären, warum Decode durch das Lesen des Speichers begrenzt ist und Prefill nicht.

Schlüsselwörter

BegriffWas er bedeutet
Inferenzein trainiertes Modell ausführen, um eine Ausgabe zu erhalten
Durchlaufein Lauf des Modells über einige Token
Prefillder erste Durchlauf, der die ganze Eingabe liest
Decodedie späteren Durchläufe, jeder mit einem neuen Token
Multiplikations-Additioneine Multiplikation und eine Addition, die Einheit der Modellarbeit
Speichergebundendurch das Lesen des Speichers begrenzt, nicht durch das Rechnen

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Erzeugen ist eine Schleife aus Durchläufen

Ein Modell beantwortet immer nur eine Frage: Was kommt als Nächstes? Für eine Antwort läuft es deshalb in einer Schleife. Der erste Durchlauf liest die Eingabe und liefert das erste neue Token. Das ist Prefill.

Jeder spätere Durchlauf liest das gerade erzeugte Token und liefert ein weiteres. Das ist Decode. Eine Antwort aus 100 Token braucht einen Prefill-Durchlauf und 99 Decode-Durchläufe.

Prefill und Decode im Labor ansehen

Befehl
docker exec jupyter python3 steps/generate.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Was der Run ausgab

ZeileWas sie zeigt
prefill: read 12 tokens of the prompt in one passGanz „the cat sat “ auf einmal
decode step 1 chose 'o'Das erste neue Zeichen
decode step 10 chose 't'Der Text lautet jetzt „the cat sat on the mat“

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Probieren Sie es: Durchläufe zählen

Code: python
# Ein Ersatzmodell: eine Tabelle, welches Wort auf welches folgt.
NAECHSTES = {"the": "cat", "cat": "sat", "sat": "on", "on": "the"}

eingabe = ["the", "dog", "sat"]
durchlaeufe = 1  # Prefill liest die ganze Eingabe in einem Durchlauf
woerter = [NAECHSTES[eingabe[-1]]]
while len(woerter) < 5:
    durchlaeufe = durchlaeufe + 1  # jeder Decode-Durchlauf liest ein neues Wort
    woerter.append(NAECHSTES[woerter[-1]])
print("neue Wörter:", woerter)
print("Durchläufe:", durchlaeufe)
# Ändern Sie 5 in 10. Wie viele Durchläufe sind es jetzt?

Jeder Durchlauf liest jedes Gewicht

Ein Modell besteht vor allem aus großen Zahlentabellen, den Gewichten. Ein Durchlauf muss jedes davon aus dem Speicher lesen. Für jedes gelesene Token macht er ungefähr eine Multiplikations-Addition pro Gewicht.

Prefill liest die Gewichte einmal für die ganze Eingabe: Eine Eingabe aus 24 Token leistet die Arbeit von 24 Token für einen Lesevorgang. Decode liest alle Gewichte erneut, nur für die Arbeit eines einzigen Tokens.

Die Arbeit jeder Phase zählen

Befehl
docker exec jupyter python3 steps/phases.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Durchgerechnetes Beispiel: die zwei Phasen im Labor

PhaseDurchläufeMultiplikations-AdditionenGelesene BytesArbeit pro Byte
Prefill, 24 Token130.29150.5080,6
Decode, 24 Token24100.680402.7200,2

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Ein häufiger Fehler

Warnung

Viele glauben, Decode sei langsam, weil es mehr rechnet. Jeder Decode-Durchlauf rechnet weniger als Prefill. Langsam ist er, weil jeder Durchlauf alle Gewichte lesen muss, um ein einziges Token zu erzeugen. Fragen Sie, wie viele Bytes ein Durchlauf liest, nicht nur, wie viele Rechnungen er macht.

Das Speichertempo begrenzt das Decode-Tempo

Ein großes Modell hat Milliarden Gewichte, ein 7B-Modell sieben Milliarden. Mit 2 Bytes pro Gewicht sind das 14 GB, die jeder Decode-Durchlauf lesen muss.

Liefert der Speicher 50 GB pro Sekunde, sind höchstens etwa 3,6 Durchläufe pro Sekunde möglich, egal wie schnell gerechnet wird. Das bedeutet speichergebunden. Das Modell im Labor hat nur 12 KB, seine Zählungen zeigen also die Form, keine echten Geschwindigkeiten.

Probieren Sie es: das beste Decode-Tempo

Code: python
# Jeder Decode-Durchlauf liest jedes Gewicht einmal, also setzt der Speicher das Tempo.
GB_PRO_SEKUNDE = 50

modelle = [["7B mit 2 Bytes", 7, 2], ["7B mit 1 Byte", 7, 1], ["1B mit 2 Bytes", 1, 2]]
for name, milliarden, bytes_je in modelle:
    gb_pro_durchlauf = milliarden * bytes_je
    bestenfalls = GB_PRO_SEKUNDE / gb_pro_durchlauf
    print(name, "liest", gb_pro_durchlauf, "GB pro Durchlauf, höchstens", round(bestenfalls, 1), "Token pro Sekunde")
# Setzen Sie GB_PRO_SEKUNDE auf 100. Was passiert mit jedem Tempo?

Über dieses Lab und seinen Quellcode: LLM-Inferenz-Lab: ein winziges Sprachmodell auf einer CPU, mit KV-Cache, Batching und int8

Sie unterrichten eine Gruppe? Weisen Sie dieses Modul Ihren Studierenden zu, mit Handbuch für Lehrende, automatisch geprüften Aufgaben und einem Lab für jede Person.