Lässt es sich mit cremefarbenem Papier, einer Tönung, mehr Kontrast oder größerer Schrift besser lesen? Wählen Sie Ihre Farben und Ihre Schrift, einmalig für alle Seiten.

Kostenlose Lektion

Wie ein KV-Cache das Erzeugen beschleunigt

Nach dieser Lektion: Ich kann berechnen, wie viel Arbeit ein KV-Cache spart und wie viel Speicher er kostet.

Lektion, 60 Min.2 BefehleLLM-Inferenz-Lab: ein winziges Sprachmodell auf einer CPU, mit KV-Cache, Batching und int8

Warum dieselben Wörter zweimal lesen?

Ein KV-Cache ist der Speicher für Schlüssel und Werte, den ein Sprachmodell für die schon gelesenen Token anlegt. Er erspart dem Modell, für jedes neue Token den ganzen Text erneut zu lesen.

Ohne Cache wird eine lange Antwort mit jedem Wort langsamer. Mit Cache bleibt die Arbeit pro Token klein, und der Preis dafür ist Speicher.

Am Ende dieser Lektion

Notiz

Ich kann berechnen, wie viel Arbeit ein KV-Cache spart und wie viel Speicher er kostet.

Schlüsselwörter

BegriffWas er bedeutet
Schlüssel (Key)was ein Token der Attention anbietet
Wert (Value)was ein Token über die Attention weitergibt
KV-Cachedie gespeicherten Schlüssel und Werte früherer Token
ZeileSchlüssel und Wert eines Tokens in einer Schicht
Schichtein Block des Modells; jeder hat seinen eigenen Cache
Kontextlängewie viele Token das Modell auf einmal liest

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Alte Schlüssel und Werte ändern sich nie

In der Attention vergleicht jedes neue Token seine Query mit dem Schlüssel jedes früheren Tokens und mischt dann deren Werte. Ein Token schaut nur zurück, deshalb ändern sich Schlüssel und Wert eines früheren Tokens nie mehr.

Ohne Cache berechnet jeder Durchlauf alle von vorn. Mit einem KV-Cache berechnet jeder Durchlauf nur Schlüssel und Wert des neuen Tokens und legt sie dazu.

Mit und ohne Cache erzeugen

Befehl
docker exec jupyter python3 steps/cache.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Beispiel: 32 Zeichen nach 12 Zeichen Eingabe

WegTextSchlüssel- und WertzeilenMultiplikations-Additionen
Ohne Cacheon the mat. the dog sathe sat ar8801.193.056
KV-Cacheon the mat. the dog sathe sat ar43135.584

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Ohne Cache wächst die Arbeit immer weiter

Durchlauf 1 liest die 12 Token der Eingabe. Durchlauf 2 liest 13, Durchlauf 32 liest 43. Zusammen sind das 880 Zeilen. Mit Cache sind es 12 Zeilen für die Eingabe, dann eine pro Durchlauf: 43.

Je länger die Antwort, desto größer der Abstand. Eine doppelt so lange Antwort kostet ohne Cache mehr als das Doppelte.

Probieren Sie es: Zeilen ohne Cache zählen

Code: python
# Durchlauf i liest die Eingabe und die i bisher erzeugten Token, außer ein Cache behält sie.
eingabe = 12
neu = 32
zeilen = 0
for i in range(neu):
    zeilen = zeilen + eingabe + i
print("Zeilen ohne Cache berechnet:", zeilen)
# Setzen Sie neu auf 64. Verdoppelt sich die Summe, oder wird es mehr als das Doppelte?

Ein häufiger Fehler

Warnung

Viele glauben, ein KV-Cache speichere frühere Antworten wie ein Web-Cache, sodass eine wiederholte Frage nichts kostet. Er speichert Schlüssel und Werte der Token dieser einen Anfrage. Er entsteht beim Prefill und wird verworfen, wenn die Anfrage endet.

Der Cache kostet Speicher für jedes Token

Jedes Token behält in jeder Schicht einen Schlüssel und einen Wert. Im Modell des Labors sind das 2 Listen mit je 16 Zahlen zu 4 Bytes: 128 Bytes pro Token.

Ein echtes Modell hat viele Schichten und Köpfe. Eines mit 32 Schichten, 8 Schlüssel-Wert-Köpfen der Breite 128 und Zahlen zu 2 Bytes behält 131.072 Bytes pro Token, also 128 KB. Achttausend Token sind etwa 1 GB, für eine einzige Person.

Zusehen, wie sich der Cache füllt

Befehl
docker exec jupyter python3 steps/cachemem.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Probieren Sie es: ein echter Cache

Code: python
# Schlüssel und Werte: 2 davon, für jede Schicht und jeden Schlüssel-Wert-Kopf.
schichten = 32
kv_koepfe = 8
kopfbreite = 128
bytes_je = 2
pro_token = 2 * schichten * kv_koepfe * kopfbreite * bytes_je
print("Bytes pro Token:", pro_token)
print("8000 Token, in GB:", round(pro_token * 8000 / 1024 ** 3, 2))
# Probieren Sie bytes_je = 1, wie bei einem quantisierten Cache.

Über dieses Lab und seinen Quellcode: LLM-Inferenz-Lab: ein winziges Sprachmodell auf einer CPU, mit KV-Cache, Batching und int8

Sie unterrichten eine Gruppe? Weisen Sie dieses Modul Ihren Studierenden zu, mit Handbuch für Lehrende, automatisch geprüften Aufgaben und einem Lab für jede Person.