Warum dieselben Wörter zweimal lesen?
Ein KV-Cache ist der Speicher für Schlüssel und Werte, den ein Sprachmodell für die schon gelesenen Token anlegt. Er erspart dem Modell, für jedes neue Token den ganzen Text erneut zu lesen.
Ohne Cache wird eine lange Antwort mit jedem Wort langsamer. Mit Cache bleibt die Arbeit pro Token klein, und der Preis dafür ist Speicher.
Am Ende dieser Lektion
Notiz
Ich kann berechnen, wie viel Arbeit ein KV-Cache spart und wie viel Speicher er kostet.
Schlüsselwörter
| Begriff | Was er bedeutet |
|---|---|
| Schlüssel (Key) | was ein Token der Attention anbietet |
| Wert (Value) | was ein Token über die Attention weitergibt |
| KV-Cache | die gespeicherten Schlüssel und Werte früherer Token |
| Zeile | Schlüssel und Wert eines Tokens in einer Schicht |
| Schicht | ein Block des Modells; jeder hat seinen eigenen Cache |
| Kontextlänge | wie viele Token das Modell auf einmal liest |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Alte Schlüssel und Werte ändern sich nie
In der Attention vergleicht jedes neue Token seine Query mit dem Schlüssel jedes früheren Tokens und mischt dann deren Werte. Ein Token schaut nur zurück, deshalb ändern sich Schlüssel und Wert eines früheren Tokens nie mehr.
Ohne Cache berechnet jeder Durchlauf alle von vorn. Mit einem KV-Cache berechnet jeder Durchlauf nur Schlüssel und Wert des neuen Tokens und legt sie dazu.
Mit und ohne Cache erzeugen
docker exec jupyter python3 steps/cache.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Beispiel: 32 Zeichen nach 12 Zeichen Eingabe
| Weg | Text | Schlüssel- und Wertzeilen | Multiplikations-Additionen |
|---|---|---|---|
| Ohne Cache | on the mat. the dog sathe sat ar | 880 | 1.193.056 |
| KV-Cache | on the mat. the dog sathe sat ar | 43 | 135.584 |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Ohne Cache wächst die Arbeit immer weiter
Durchlauf 1 liest die 12 Token der Eingabe. Durchlauf 2 liest 13, Durchlauf 32 liest 43. Zusammen sind das 880 Zeilen. Mit Cache sind es 12 Zeilen für die Eingabe, dann eine pro Durchlauf: 43.
Je länger die Antwort, desto größer der Abstand. Eine doppelt so lange Antwort kostet ohne Cache mehr als das Doppelte.
Probieren Sie es: Zeilen ohne Cache zählen
# Durchlauf i liest die Eingabe und die i bisher erzeugten Token, außer ein Cache behält sie.
eingabe = 12
neu = 32
zeilen = 0
for i in range(neu):
zeilen = zeilen + eingabe + i
print("Zeilen ohne Cache berechnet:", zeilen)
# Setzen Sie neu auf 64. Verdoppelt sich die Summe, oder wird es mehr als das Doppelte?
Ein häufiger Fehler
Warnung
Viele glauben, ein KV-Cache speichere frühere Antworten wie ein Web-Cache, sodass eine wiederholte Frage nichts kostet. Er speichert Schlüssel und Werte der Token dieser einen Anfrage. Er entsteht beim Prefill und wird verworfen, wenn die Anfrage endet.
Der Cache kostet Speicher für jedes Token
Jedes Token behält in jeder Schicht einen Schlüssel und einen Wert. Im Modell des Labors sind das 2 Listen mit je 16 Zahlen zu 4 Bytes: 128 Bytes pro Token.
Ein echtes Modell hat viele Schichten und Köpfe. Eines mit 32 Schichten, 8 Schlüssel-Wert-Köpfen der Breite 128 und Zahlen zu 2 Bytes behält 131.072 Bytes pro Token, also 128 KB. Achttausend Token sind etwa 1 GB, für eine einzige Person.
Zusehen, wie sich der Cache füllt
docker exec jupyter python3 steps/cachemem.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Probieren Sie es: ein echter Cache
# Schlüssel und Werte: 2 davon, für jede Schicht und jeden Schlüssel-Wert-Kopf.
schichten = 32
kv_koepfe = 8
kopfbreite = 128
bytes_je = 2
pro_token = 2 * schichten * kv_koepfe * kopfbreite * bytes_je
print("Bytes pro Token:", pro_token)
print("8000 Token, in GB:", round(pro_token * 8000 / 1024 ** 3, 2))
# Probieren Sie bytes_je = 1, wie bei einem quantisierten Cache.