¿Te resulta más fácil leer con fondo crema, un tono de color, más contraste o un texto más grande? Elige tus colores y tu texto una sola vez, para todas las páginas.

Lección gratuita

Cómo acelera la generación una caché KV

Después de esta lección: Puedo calcular cuánto trabajo ahorra una caché KV y cuánta memoria cuesta.

Lección de 60 min2 comandosLaboratorio de inferencia de LLM: un modelo de lenguaje diminuto en una CPU, con caché KV, batching e int8

¿Para qué leer dos veces lo mismo?

Una caché KV es el almacén de claves y valores que un modelo de lenguaje guarda para los tokens que ya ha leído. Le ahorra volver a leer todo el texto para cada token nuevo.

Sin ella, escribir una respuesta larga es más lento con cada palabra. Con ella, el trabajo por token sigue siendo pequeño, y el precio es memoria.

Al final de esta lección

Nota

Puedo calcular cuánto trabajo ahorra una caché KV y cuánta memoria cuesta.

Palabras clave

PalabraQué significa
Clavelo que un token ofrece a la atención (key en inglés)
Valorlo que un token transmite a través de la atención (value en inglés)
Caché KVlas claves y los valores guardados de los tokens anteriores
Filala clave y el valor de un token en una capa
Capaun bloque del modelo; cada una tiene su propia caché
Longitud de contextocuántos tokens lee el modelo a la vez

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

Las claves y valores antiguos no cambian

En la atención, cada token nuevo compara su consulta con la clave de cada token anterior y luego mezcla sus valores. Un token solo mira hacia atrás, así que la clave y el valor de un token anterior no cambian nunca una vez hechos.

Sin caché, cada pasada los vuelve a calcular todos desde el principio. Con una caché KV, cada pasada calcula solo la clave y el valor del token nuevo y los añade al almacén.

Genera con caché y sin caché

Comando
docker exec jupyter python3 steps/cache.py

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Ejemplo resuelto: 32 caracteres tras 12 de prompt

ManeraTextoFilas de claves y valoresMultiplicaciones-suma
Sin cachéon the mat. the dog sathe sat ar8801193056
Caché KVon the mat. the dog sathe sat ar43135584

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

Sin caché, el trabajo no para de crecer

La pasada 1 lee los 12 tokens del prompt. La pasada 2 lee 13. La pasada 32 lee 43. Las filas suman 880. Con caché son 12 filas para el prompt y luego una por pasada: 43.

Cuanto más larga es la respuesta, mayor es la diferencia. Sin caché, duplicar la respuesta más que duplica el trabajo.

Pruébalo: cuenta las filas sin caché

Código: python
# La pasada i lee el prompt y los i tokens ya hechos, salvo que una caché los guarde.
prompt = 12
new = 32
rows = 0
for i in range(new):
    rows = rows + prompt + i
print("filas calculadas sin caché:", rows)
# Cambia new a 64. ¿El total se duplica, o más que se duplica?

Un error frecuente

Advertencia

Mucha gente cree que una caché KV guarda respuestas pasadas, como una caché web, y que repetir una pregunta sale gratis. Guarda las claves y los valores de los tokens de esta única petición. Se construye durante el prefill y se tira cuando la petición termina.

La caché cuesta memoria por cada token

Cada token guarda una clave y un valor en cada capa. En el modelo del laboratorio son 2 listas de 16 números, de 4 bytes cada uno: 128 bytes por token.

Un modelo real tiene muchas capas y cabezas. Uno con 32 capas, 8 cabezas de claves y valores de anchura 128 y números de 2 bytes guarda 131072 bytes por token, 128 KB. Ocho mil tokens son más o menos 1 GB, para un solo usuario.

Mira cómo se llena la caché

Comando
docker exec jupyter python3 steps/cachemem.py

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Pruébalo: el tamaño de una caché real

Código: python
# Claves y valores: 2, para cada capa y cada cabeza de claves y valores.
layers = 32
kv_heads = 8
head_dim = 128
bytes_each = 2
per_token = 2 * layers * kv_heads * head_dim * bytes_each
print("bytes por token:", per_token)
print("8000 tokens, en GB:", round(per_token * 8000 / 1024 ** 3, 2))
# Prueba bytes_each = 1, como sería una caché cuantizada.

Sobre este laboratorio y su código: Laboratorio de inferencia de LLM: un modelo de lenguaje diminuto en una CPU, con caché KV, batching e int8

¿Enseñas a una clase? Asigna este módulo a tus alumnos con guía del profesor, tareas con corrección automática y un laboratorio para cada alumno.