Lässt es sich mit cremefarbenem Papier, einer Tönung, mehr Kontrast oder größerer Schrift besser lesen? Wählen Sie Ihre Farben und Ihre Schrift, einmalig für alle Seiten.

Kostenlose Lektion

Wie spekulatives Decoding funktioniert

Nach dieser Lektion: Ich kann entscheiden, welche Entwurfstoken ein Zielmodell beim spekulativen Decoding behält.

Lektion, 60 Min.2 BefehleLLM-Inferenz-Lab: ein winziges Sprachmodell auf einer CPU, mit KV-Cache, Batching und int8

Ein kleines Modell rät zuerst

Spekulatives Decoding macht ein Sprachmodell schneller: Ein kleines Entwurfsmodell rät die nächsten paar Token. Das große Modell prüft dann alle Vorschläge in einem Durchlauf.

Mehrere Token auf einmal zu prüfen kostet etwa so viel wie eines zu erzeugen, weil Decode speichergebunden ist. Jeder gute Vorschlag ist also ein Token fast umsonst.

Am Ende dieser Lektion

Notiz

Ich kann entscheiden, welche Entwurfstoken ein Zielmodell beim spekulativen Decoding behält.

Schlüsselwörter

BegriffWas er bedeutet
Entwurfsmodellein kleines, schnelles Modell, das Token rät
Zielmodelldas große Modell, dessen Antwort zählt
Prüfenmehrere Vorschläge in einem Durchlauf des Ziels kontrollieren
Annehmenein geratenes Token behalten
Annahmequoteder Anteil der behaltenen Vorschläge

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Billig raten, dann einmal teuer prüfen

Das Entwurfsmodell ist winzig, jeder seiner Vorschläge kostet also fast nichts. Es rät vier Token hintereinander. Das Zielmodell liest diese vier dann in einem Durchlauf, so wie Prefill eine Eingabe liest.

Dieser eine Durchlauf liefert nach jedem Vorschlag die eigene Wahl des Ziels. Wo beide übereinstimmen, wird der Vorschlag behalten. Ein Durchlauf über vier Token kostet etwa so viel wie ein Decode-Durchlauf.

Entwurf und Ziel vergleichen

Befehl
docker exec jupyter python3 steps/draft.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Was der Run ausgab

ZeileWas sie zeigt
draft model: a table ... 361 numbersWelches Zeichen auf welches folgt, aus dem Text gezählt
target model: the tiny transformer, 4355 numbersEtwa zwölfmal größer
the draft guesses the target's choice 38 timesVon den ersten 64 Stellen

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Vorschläge bis zur ersten Abweichung behalten

Beim Greedy-Decoding ist die Regel einfach. Vergleichen Sie jeden Vorschlag mit der eigenen Wahl des Ziels an dieser Stelle. Behalten Sie Vorschläge, solange sie übereinstimmen.

Bei der ersten Abweichung verwerfen Sie diesen und alle späteren Vorschläge und nehmen stattdessen das Token des Ziels. Stimmen alle vier, liefert der Durchlauf des Ziels ein fünftes Token gratis. So fügt jeder Durchlauf mindestens ein Token an.

Probieren Sie es: welche Vorschläge bleiben?

Code: python
# Der Entwurf riet vier Zeichen. Das Ziel prüfte sie in einem Durchlauf.
entwurf = "athe"
ziel = "at e."  # die eigene Wahl des Ziels vor jedem Vorschlag, und eine mehr
behalten = 0
while behalten < len(entwurf) and entwurf[behalten] == ziel[behalten]:
    behalten = behalten + 1
print("behaltene Vorschläge:", behalten)
print("das Ziel fügt an:", repr(ziel[behalten]))
# Ändern Sie ziel in "athe ", damit alle vier passen. Was fügt das Ziel an?

Spekulatives Decoding ausführen

Befehl
docker exec jupyter python3 steps/speculate.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Beispiel: die ersten Runden

Entwurf rietBehaltenZiel fügte an
"the "0"s"
"athe"2" "
" the"4" "
Alle 13 Runden21 von 5232 Zeichen in 13 Durchläufen

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Ein häufiger Fehler

Warnung

Viele glauben, spekulatives Decoding tausche Qualität gegen Tempo. Jedes behaltene Token hätte das Ziel selbst gewählt, der Text bleibt also gleich. Ein schwacher Entwurf verschwendet nur Zeit: Seine Vorschläge werden verworfen, und das Ziel fügt ein Token pro Durchlauf an.

Beim Sampling per Zufall behalten

Wenn das Ziel per Sampling wählt statt das beste Token zu nehmen, reicht Übereinstimmung nicht. Angenommen, das Ziel gibt dem geratenen Token die Wahrscheinlichkeit p und der Entwurf gab ihm q. Behalten Sie es mit der Wahrscheinlichkeit p durch q, oder immer, wenn p größer ist.

Wird es verworfen, ziehen Sie stattdessen aus dem Rest. Das ist für jedes Token p minus q, wo das über null liegt, so skaliert, dass die Summe 1 ist. So bleiben die Wahrscheinlichkeiten des Ziels genau erhalten.

Beispiel: drei Token

TokenZiel pEntwurf qWahrscheinlichkeit zu behaltenRest
a0,50,70,7140
b0,30,210,5
c0,20,110,5

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Probieren Sie es: die Wahrscheinlichkeit zu behalten

Code: python
# Der Entwurf gibt einem Token die Wahrscheinlichkeit q, das Ziel gibt ihm p.
p = 0.5
q = 0.7
if p >= q:
    behalten = 1.0
else:
    behalten = p / q
print("Wahrscheinlichkeit, den Vorschlag zu behalten:", round(behalten, 3))
# Probieren Sie p = 0.3 und q = 0.2. Warum wird der Vorschlag immer behalten?

Über dieses Lab und seinen Quellcode: LLM-Inferenz-Lab: ein winziges Sprachmodell auf einer CPU, mit KV-Cache, Batching und int8

Sie unterrichten eine Gruppe? Weisen Sie dieses Modul Ihren Studierenden zu, mit Handbuch für Lehrende, automatisch geprüften Aufgaben und einem Lab für jede Person.