Ein kleines Modell rät zuerst
Spekulatives Decoding macht ein Sprachmodell schneller: Ein kleines Entwurfsmodell rät die nächsten paar Token. Das große Modell prüft dann alle Vorschläge in einem Durchlauf.
Mehrere Token auf einmal zu prüfen kostet etwa so viel wie eines zu erzeugen, weil Decode speichergebunden ist. Jeder gute Vorschlag ist also ein Token fast umsonst.
Am Ende dieser Lektion
Notiz
Ich kann entscheiden, welche Entwurfstoken ein Zielmodell beim spekulativen Decoding behält.
Schlüsselwörter
| Begriff | Was er bedeutet |
|---|---|
| Entwurfsmodell | ein kleines, schnelles Modell, das Token rät |
| Zielmodell | das große Modell, dessen Antwort zählt |
| Prüfen | mehrere Vorschläge in einem Durchlauf des Ziels kontrollieren |
| Annehmen | ein geratenes Token behalten |
| Annahmequote | der Anteil der behaltenen Vorschläge |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Billig raten, dann einmal teuer prüfen
Das Entwurfsmodell ist winzig, jeder seiner Vorschläge kostet also fast nichts. Es rät vier Token hintereinander. Das Zielmodell liest diese vier dann in einem Durchlauf, so wie Prefill eine Eingabe liest.
Dieser eine Durchlauf liefert nach jedem Vorschlag die eigene Wahl des Ziels. Wo beide übereinstimmen, wird der Vorschlag behalten. Ein Durchlauf über vier Token kostet etwa so viel wie ein Decode-Durchlauf.
Entwurf und Ziel vergleichen
docker exec jupyter python3 steps/draft.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Was der Run ausgab
| Zeile | Was sie zeigt |
|---|---|
| draft model: a table ... 361 numbers | Welches Zeichen auf welches folgt, aus dem Text gezählt |
| target model: the tiny transformer, 4355 numbers | Etwa zwölfmal größer |
| the draft guesses the target's choice 38 times | Von den ersten 64 Stellen |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Vorschläge bis zur ersten Abweichung behalten
Beim Greedy-Decoding ist die Regel einfach. Vergleichen Sie jeden Vorschlag mit der eigenen Wahl des Ziels an dieser Stelle. Behalten Sie Vorschläge, solange sie übereinstimmen.
Bei der ersten Abweichung verwerfen Sie diesen und alle späteren Vorschläge und nehmen stattdessen das Token des Ziels. Stimmen alle vier, liefert der Durchlauf des Ziels ein fünftes Token gratis. So fügt jeder Durchlauf mindestens ein Token an.
Probieren Sie es: welche Vorschläge bleiben?
# Der Entwurf riet vier Zeichen. Das Ziel prüfte sie in einem Durchlauf.
entwurf = "athe"
ziel = "at e." # die eigene Wahl des Ziels vor jedem Vorschlag, und eine mehr
behalten = 0
while behalten < len(entwurf) and entwurf[behalten] == ziel[behalten]:
behalten = behalten + 1
print("behaltene Vorschläge:", behalten)
print("das Ziel fügt an:", repr(ziel[behalten]))
# Ändern Sie ziel in "athe ", damit alle vier passen. Was fügt das Ziel an?
Spekulatives Decoding ausführen
docker exec jupyter python3 steps/speculate.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Beispiel: die ersten Runden
| Entwurf riet | Behalten | Ziel fügte an |
|---|---|---|
| "the " | 0 | "s" |
| "athe" | 2 | " " |
| " the" | 4 | " " |
| Alle 13 Runden | 21 von 52 | 32 Zeichen in 13 Durchläufen |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Ein häufiger Fehler
Warnung
Viele glauben, spekulatives Decoding tausche Qualität gegen Tempo. Jedes behaltene Token hätte das Ziel selbst gewählt, der Text bleibt also gleich. Ein schwacher Entwurf verschwendet nur Zeit: Seine Vorschläge werden verworfen, und das Ziel fügt ein Token pro Durchlauf an.
Beim Sampling per Zufall behalten
Wenn das Ziel per Sampling wählt statt das beste Token zu nehmen, reicht Übereinstimmung nicht. Angenommen, das Ziel gibt dem geratenen Token die Wahrscheinlichkeit p und der Entwurf gab ihm q. Behalten Sie es mit der Wahrscheinlichkeit p durch q, oder immer, wenn p größer ist.
Wird es verworfen, ziehen Sie stattdessen aus dem Rest. Das ist für jedes Token p minus q, wo das über null liegt, so skaliert, dass die Summe 1 ist. So bleiben die Wahrscheinlichkeiten des Ziels genau erhalten.
Beispiel: drei Token
| Token | Ziel p | Entwurf q | Wahrscheinlichkeit zu behalten | Rest |
|---|---|---|---|---|
| a | 0,5 | 0,7 | 0,714 | 0 |
| b | 0,3 | 0,2 | 1 | 0,5 |
| c | 0,2 | 0,1 | 1 | 0,5 |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Probieren Sie es: die Wahrscheinlichkeit zu behalten
# Der Entwurf gibt einem Token die Wahrscheinlichkeit q, das Ziel gibt ihm p.
p = 0.5
q = 0.7
if p >= q:
behalten = 1.0
else:
behalten = p / q
print("Wahrscheinlichkeit, den Vorschlag zu behalten:", round(behalten, 3))
# Probieren Sie p = 0.3 und q = 0.2. Warum wird der Vorschlag immer behalten?