¿Te resulta más fácil leer con fondo crema, un tono de color, más contraste o un texto más grande? Elige tus colores y tu texto una sola vez, para todas las páginas.

Lección gratuita

Batching y batching continuo

Después de esta lección: Puedo planificar peticiones con batching estático y continuo y comparar los dos.

Lección de 60 min2 comandosLaboratorio de inferencia de LLM: un modelo de lenguaje diminuto en una CPU, con caché KV, batching e int8

Un modelo, muchos usuarios a la vez

El batching continuo es la forma en que un servidor de modelos de lenguaje atiende a muchos usuarios a la vez. Decodifica sus peticiones juntas y mete una nueva en cuanto otra termina.

Un servidor que atiende a un usuario cada vez desperdicia casi todas sus lecturas de memoria. El batching es la razón principal de que un modelo compartido salga asequible.

Al final de esta lección

Nota

Puedo planificar peticiones con batching estático y continuo y comparar los dos.

Palabras clave

PalabraQué significa
Peticiónel prompt de un usuario y la respuesta que necesita
Lotepeticiones que se decodifican juntas en una pasada (batch en inglés)
Huecoel sitio de una petición dentro del lote (slot en inglés)
Batching estáticoun lote nuevo solo empieza cuando acaba el anterior
Batching continuoun hueco libre se llena en el paso siguiente
Rendimientolos tokens por segundo que hace todo el servidor (throughput en inglés)

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

Un lote comparte una lectura de los pesos

Una pasada de decodificación lee todos los pesos para hacer un token. Si ocho peticiones se decodifican en la misma pasada, los pesos se leen una vez y se usan ocho veces.

Cada petición sigue necesitando sus propias cuentas y su propia caché KV. Solo se comparte la lectura de los pesos, y en un modelo grande esa lectura es la parte lenta.

Cuenta las lecturas con cuatro lotes

Comando
docker exec jupyter python3 steps/share.py

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Ejemplo resuelto: ocho pasadas con cada tamaño

LoteTokens hechosBytes de pesos leídos por tokenMultiplicaciones-suma por token
18121083427
21660543427
43230273427
86415133427

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

Lo que muestra una CPU

Nota

Este modelo ocupa 12 KB, así que sus pesos caben en la caché rápida de la CPU y leerlos es barato. Sus tiempos reales, en la celda Real timings del cuaderno, ganan mucho menos que el tamaño del lote. Un modelo grande en una GPU gana mucho más, porque allí las lecturas son la parte lenta.

El batching estático espera al más lento

Cada petición quiere una respuesta de distinta longitud. Con batching estático, un lote empieza a la vez y el servidor no acepta ninguna petición nueva hasta que todas las del lote han terminado.

Una petición que quiere 2 tokens acaba pronto, y su hueco se queda vacío mientras una larga sigue. Las peticiones nuevas esperan fuera todo ese tiempo.

Planifica seis peticiones de las dos maneras

Comando
docker exec jupyter python3 steps/batch.py

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Ejemplo resuelto: tres huecos, seis peticiones

PeticiónLlega en el pasoTokensAcaba, estáticoAcaba, continuo
A0888
B0222
C0333
D12104
E26149
F32106

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

El batching continuo rellena un hueco enseguida

Con batching continuo, el servidor busca un hueco libre antes de cada paso. Cuando B acabó en el paso 2, D ocupó su hueco en el paso siguiente en vez de esperar a A.

El lote nunca se vacía y se rellena entero. Cada petición entra y sale por su cuenta, así que las cortas dejan de esperar detrás de las largas.

Un error frecuente

Advertencia

Mucha gente cree que el batching hace que cada respuesta llegue antes. Lo que sube son los tokens por segundo de todo el servidor. Una petición puede esperar un hueco, y un lote más grande puede hacer cada paso un poco más lento. Mide el rendimiento y también la espera de cada usuario.

Pruébalo: la memoria decide los huecos

Código: python
# ¿Cuántas peticiones caben junto a los pesos? Cada una necesita su propia caché KV.
memory_gb = 24
weights_gb = 14
cache_gb_per_request = 1
slots = (memory_gb - weights_gb) // cache_gb_per_request
print("peticiones que caben a la vez:", slots)
# Cuantiza los pesos a 7 GB. ¿Cuántas caben ahora?

Sobre este laboratorio y su código: Laboratorio de inferencia de LLM: un modelo de lenguaje diminuto en una CPU, con caché KV, batching e int8

¿Enseñas a una clase? Asigna este módulo a tus alumnos con guía del profesor, tareas con corrección automática y un laboratorio para cada alumno.