¿Para qué leer dos veces lo mismo?
Una caché KV es el almacén de claves y valores que un modelo de lenguaje guarda para los tokens que ya ha leído. Le ahorra volver a leer todo el texto para cada token nuevo.
Sin ella, escribir una respuesta larga es más lento con cada palabra. Con ella, el trabajo por token sigue siendo pequeño, y el precio es memoria.
Al final de esta lección
Nota
Puedo calcular cuánto trabajo ahorra una caché KV y cuánta memoria cuesta.
Palabras clave
| Palabra | Qué significa |
|---|---|
| Clave | lo que un token ofrece a la atención (key en inglés) |
| Valor | lo que un token transmite a través de la atención (value en inglés) |
| Caché KV | las claves y los valores guardados de los tokens anteriores |
| Fila | la clave y el valor de un token en una capa |
| Capa | un bloque del modelo; cada una tiene su propia caché |
| Longitud de contexto | cuántos tokens lee el modelo a la vez |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
Las claves y valores antiguos no cambian
En la atención, cada token nuevo compara su consulta con la clave de cada token anterior y luego mezcla sus valores. Un token solo mira hacia atrás, así que la clave y el valor de un token anterior no cambian nunca una vez hechos.
Sin caché, cada pasada los vuelve a calcular todos desde el principio. Con una caché KV, cada pasada calcula solo la clave y el valor del token nuevo y los añade al almacén.
Genera con caché y sin caché
docker exec jupyter python3 steps/cache.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Ejemplo resuelto: 32 caracteres tras 12 de prompt
| Manera | Texto | Filas de claves y valores | Multiplicaciones-suma |
|---|---|---|---|
| Sin caché | on the mat. the dog sathe sat ar | 880 | 1193056 |
| Caché KV | on the mat. the dog sathe sat ar | 43 | 135584 |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
Sin caché, el trabajo no para de crecer
La pasada 1 lee los 12 tokens del prompt. La pasada 2 lee 13. La pasada 32 lee 43. Las filas suman 880. Con caché son 12 filas para el prompt y luego una por pasada: 43.
Cuanto más larga es la respuesta, mayor es la diferencia. Sin caché, duplicar la respuesta más que duplica el trabajo.
Pruébalo: cuenta las filas sin caché
# La pasada i lee el prompt y los i tokens ya hechos, salvo que una caché los guarde.
prompt = 12
new = 32
rows = 0
for i in range(new):
rows = rows + prompt + i
print("filas calculadas sin caché:", rows)
# Cambia new a 64. ¿El total se duplica, o más que se duplica?
Un error frecuente
Advertencia
Mucha gente cree que una caché KV guarda respuestas pasadas, como una caché web, y que repetir una pregunta sale gratis. Guarda las claves y los valores de los tokens de esta única petición. Se construye durante el prefill y se tira cuando la petición termina.
La caché cuesta memoria por cada token
Cada token guarda una clave y un valor en cada capa. En el modelo del laboratorio son 2 listas de 16 números, de 4 bytes cada uno: 128 bytes por token.
Un modelo real tiene muchas capas y cabezas. Uno con 32 capas, 8 cabezas de claves y valores de anchura 128 y números de 2 bytes guarda 131072 bytes por token, 128 KB. Ocho mil tokens son más o menos 1 GB, para un solo usuario.
Mira cómo se llena la caché
docker exec jupyter python3 steps/cachemem.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Pruébalo: el tamaño de una caché real
# Claves y valores: 2, para cada capa y cada cabeza de claves y valores.
layers = 32
kv_heads = 8
head_dim = 128
bytes_each = 2
per_token = 2 * layers * kv_heads * head_dim * bytes_each
print("bytes por token:", per_token)
print("8000 tokens, en GB:", round(per_token * 8000 / 1024 ** 3, 2))
# Prueba bytes_each = 1, como sería una caché cuantizada.