¿Te resulta más fácil leer con fondo crema, un tono de color, más contraste o un texto más grande? Elige tus colores y tu texto una sola vez, para todas las páginas.

Lección gratuita

Medir latencia y rendimiento de un LLM

Después de esta lección: Puedo calcular el tiempo hasta el primer token y los tokens por segundo a partir de los tiempos de cada token.

Lección de 60 min1 comandoLaboratorio de inferencia de LLM: un modelo de lenguaje diminuto en una CPU, con caché KV, batching e int8

Dos números fáciles de maquillar

Medir la latencia de un LLM es cronometrar cuánto espera un usuario el primer token y a qué ritmo llegan los demás. Los dos números habituales son el tiempo hasta el primer token y los tokens por segundo.

Los dos son fáciles de hacer parecer mejores de lo que son. Dónde empieza el reloj y qué tokens se cuentan los cambian más que cualquier mejora de velocidad.

Al final de esta lección

Nota

Puedo calcular el tiempo hasta el primer token y los tokens por segundo a partir de los tiempos de cada token.

Palabras clave

PalabraQué significa
Latenciacuánto tiempo espera alguien
Tiempo hasta el primer tokenla espera desde que se envía una petición hasta el primer token (TTFT en inglés)
Tokens por segundolos tokens de salida divididos entre los segundos que tardaron
Intervalo entre tokensel tiempo entre dos tokens de una respuesta
Calentamientouna primera ejecución que carga cosas y va más lenta (warm-up en inglés)
Medianael valor del centro una vez ordenados los valores

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

El reloj arranca cuando llega la petición

El tiempo hasta el primer token es lo que un usuario siente como «¿está funcionando?». Es el tiempo desde que llega la petición hasta el primer token. Incluye cualquier espera en cola, luego la pasada de prefill y luego el primer paso de decodificación.

Un servidor que pone en marcha el reloj cuando empieza a trabajar esconde la cola. En un servidor cargado, la cola puede ser casi toda la espera.

Saca los números de una petición

Comando
docker exec jupyter python3 steps/latency.py

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Ejemplo resuelto: una petición con reloj simulado

MedidaValor¿Honesto?
Tiempo hasta el primer token, desde la llegada345 msSí
Tiempo hasta el primer token, desde que empieza el trabajo225 msNo: esconde 120 ms de cola
Velocidad de decodificación, tras el primer token40,0 tokens por segundoSí, para la decodificación
Petición entera, solo tokens de salida31,8 tokens por segundoSí, para el usuario
El prompt contado como salida286,6 tokens por segundoNo

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

Cuenta solo los tokens que escribió el modelo

La velocidad de decodificación son los tokens de salida después del primero, divididos entre el tiempo que va del primer token al último. Aquí son 49 tokens en 1,225 segundos, 40,0 por segundo.

La velocidad de la petición entera divide los 50 tokens de salida entre el tiempo desde la llegada: 31,8 por segundo. Las dos son honestas y responden a preguntas distintas. Di cuál de ellas das.

Un error frecuente

Advertencia

Mucha gente cuenta los tokens del prompt en los tokens por segundo, porque el modelo sí los procesó. Eso convirtió aquí 31,8 en 286,6. Los tokens del prompt se leen en una pasada rápida. Da los tokens de salida por segundo, con la longitud del prompt al lado.

Un reloj real necesita calentar y repetir

Un cronómetro real da un número distinto en cada ejecución. La primera suele ser lenta, porque se cargan el código y los datos. Además, otro programa puede estorbar a una ejecución suelta.

Así que ejecuta una vez para calentar y tira ese resultado. Repite varias veces y da la mediana, que una ejecución rara no puede arrastrar. Nombra la máquina y la configuración, porque otra máquina da otros números.

Pruébalo: media frente a mediana

Código: python
# Ocho mediciones de la misma petición, en milisegundos. La primera fue en frío.
runs = [41.0, 12.5, 12.1, 13.0, 12.4, 30.2, 12.6, 12.3]
total = 0
for one in runs:
    total = total + one
print("media de todas:", round(total / len(runs), 2))
warm = sorted(runs[1:])
print("el centro de las calientes:", warm[len(warm) // 2])
# Cambia 30.2 por 300. ¿Qué número se mueve y cuál se queda?

Cronometra de verdad el modelo diminuto

En el laboratorio, abre JupyterLab y el cuaderno start.ipynb, y ejecuta la celda que hay bajo Real timings. Cronometra con un reloj real el prefill, un paso de decodificación y tres tamaños de lote. Primero calienta, luego repite siete veces e imprime el valor del centro.

Tus números serán distintos de los de quien tienes al lado y de una ejecución a otra. Por eso los scripts de steps cuentan trabajo en vez de cronometrar.

Sobre este laboratorio y su código: Laboratorio de inferencia de LLM: un modelo de lenguaje diminuto en una CPU, con caché KV, batching e int8

¿Enseñas a una clase? Asigna este módulo a tus alumnos con guía del profesor, tareas con corrección automática y un laboratorio para cada alumno.