Un modelo, muchos usuarios a la vez
El batching continuo es la forma en que un servidor de modelos de lenguaje atiende a muchos usuarios a la vez. Decodifica sus peticiones juntas y mete una nueva en cuanto otra termina.
Un servidor que atiende a un usuario cada vez desperdicia casi todas sus lecturas de memoria. El batching es la razón principal de que un modelo compartido salga asequible.
Al final de esta lección
Nota
Puedo planificar peticiones con batching estático y continuo y comparar los dos.
Palabras clave
| Palabra | Qué significa |
|---|---|
| Petición | el prompt de un usuario y la respuesta que necesita |
| Lote | peticiones que se decodifican juntas en una pasada (batch en inglés) |
| Hueco | el sitio de una petición dentro del lote (slot en inglés) |
| Batching estático | un lote nuevo solo empieza cuando acaba el anterior |
| Batching continuo | un hueco libre se llena en el paso siguiente |
| Rendimiento | los tokens por segundo que hace todo el servidor (throughput en inglés) |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
Un lote comparte una lectura de los pesos
Una pasada de decodificación lee todos los pesos para hacer un token. Si ocho peticiones se decodifican en la misma pasada, los pesos se leen una vez y se usan ocho veces.
Cada petición sigue necesitando sus propias cuentas y su propia caché KV. Solo se comparte la lectura de los pesos, y en un modelo grande esa lectura es la parte lenta.
Cuenta las lecturas con cuatro lotes
docker exec jupyter python3 steps/share.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Ejemplo resuelto: ocho pasadas con cada tamaño
| Lote | Tokens hechos | Bytes de pesos leídos por token | Multiplicaciones-suma por token |
|---|---|---|---|
| 1 | 8 | 12108 | 3427 |
| 2 | 16 | 6054 | 3427 |
| 4 | 32 | 3027 | 3427 |
| 8 | 64 | 1513 | 3427 |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
Lo que muestra una CPU
Nota
Este modelo ocupa 12 KB, así que sus pesos caben en la caché rápida de la CPU y leerlos es barato. Sus tiempos reales, en la celda Real timings del cuaderno, ganan mucho menos que el tamaño del lote. Un modelo grande en una GPU gana mucho más, porque allí las lecturas son la parte lenta.
El batching estático espera al más lento
Cada petición quiere una respuesta de distinta longitud. Con batching estático, un lote empieza a la vez y el servidor no acepta ninguna petición nueva hasta que todas las del lote han terminado.
Una petición que quiere 2 tokens acaba pronto, y su hueco se queda vacío mientras una larga sigue. Las peticiones nuevas esperan fuera todo ese tiempo.
Planifica seis peticiones de las dos maneras
docker exec jupyter python3 steps/batch.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Ejemplo resuelto: tres huecos, seis peticiones
| Petición | Llega en el paso | Tokens | Acaba, estático | Acaba, continuo |
|---|---|---|---|---|
| A | 0 | 8 | 8 | 8 |
| B | 0 | 2 | 2 | 2 |
| C | 0 | 3 | 3 | 3 |
| D | 1 | 2 | 10 | 4 |
| E | 2 | 6 | 14 | 9 |
| F | 3 | 2 | 10 | 6 |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
El batching continuo rellena un hueco enseguida
Con batching continuo, el servidor busca un hueco libre antes de cada paso. Cuando B acabó en el paso 2, D ocupó su hueco en el paso siguiente en vez de esperar a A.
El lote nunca se vacía y se rellena entero. Cada petición entra y sale por su cuenta, así que las cortas dejan de esperar detrás de las largas.
Un error frecuente
Advertencia
Mucha gente cree que el batching hace que cada respuesta llegue antes. Lo que sube son los tokens por segundo de todo el servidor. Una petición puede esperar un hueco, y un lote más grande puede hacer cada paso un poco más lento. Mide el rendimiento y también la espera de cada usuario.
Pruébalo: la memoria decide los huecos
# ¿Cuántas peticiones caben junto a los pesos? Cada una necesita su propia caché KV.
memory_gb = 24
weights_gb = 14
cache_gb_per_request = 1
slots = (memory_gb - weights_gb) // cache_gb_per_request
print("peticiones que caben a la vez:", slots)
# Cuantiza los pesos a 7 GB. ¿Cuántas caben ahora?