Dos números fáciles de maquillar
Medir la latencia de un LLM es cronometrar cuánto espera un usuario el primer token y a qué ritmo llegan los demás. Los dos números habituales son el tiempo hasta el primer token y los tokens por segundo.
Los dos son fáciles de hacer parecer mejores de lo que son. Dónde empieza el reloj y qué tokens se cuentan los cambian más que cualquier mejora de velocidad.
Al final de esta lección
Nota
Puedo calcular el tiempo hasta el primer token y los tokens por segundo a partir de los tiempos de cada token.
Palabras clave
| Palabra | Qué significa |
|---|---|
| Latencia | cuánto tiempo espera alguien |
| Tiempo hasta el primer token | la espera desde que se envía una petición hasta el primer token (TTFT en inglés) |
| Tokens por segundo | los tokens de salida divididos entre los segundos que tardaron |
| Intervalo entre tokens | el tiempo entre dos tokens de una respuesta |
| Calentamiento | una primera ejecución que carga cosas y va más lenta (warm-up en inglés) |
| Mediana | el valor del centro una vez ordenados los valores |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
El reloj arranca cuando llega la petición
El tiempo hasta el primer token es lo que un usuario siente como «¿está funcionando?». Es el tiempo desde que llega la petición hasta el primer token. Incluye cualquier espera en cola, luego la pasada de prefill y luego el primer paso de decodificación.
Un servidor que pone en marcha el reloj cuando empieza a trabajar esconde la cola. En un servidor cargado, la cola puede ser casi toda la espera.
Saca los números de una petición
docker exec jupyter python3 steps/latency.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Ejemplo resuelto: una petición con reloj simulado
| Medida | Valor | ¿Honesto? |
|---|---|---|
| Tiempo hasta el primer token, desde la llegada | 345 ms | Sí |
| Tiempo hasta el primer token, desde que empieza el trabajo | 225 ms | No: esconde 120 ms de cola |
| Velocidad de decodificación, tras el primer token | 40,0 tokens por segundo | Sí, para la decodificación |
| Petición entera, solo tokens de salida | 31,8 tokens por segundo | Sí, para el usuario |
| El prompt contado como salida | 286,6 tokens por segundo | No |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
Cuenta solo los tokens que escribió el modelo
La velocidad de decodificación son los tokens de salida después del primero, divididos entre el tiempo que va del primer token al último. Aquí son 49 tokens en 1,225 segundos, 40,0 por segundo.
La velocidad de la petición entera divide los 50 tokens de salida entre el tiempo desde la llegada: 31,8 por segundo. Las dos son honestas y responden a preguntas distintas. Di cuál de ellas das.
Un error frecuente
Advertencia
Mucha gente cuenta los tokens del prompt en los tokens por segundo, porque el modelo sí los procesó. Eso convirtió aquí 31,8 en 286,6. Los tokens del prompt se leen en una pasada rápida. Da los tokens de salida por segundo, con la longitud del prompt al lado.
Un reloj real necesita calentar y repetir
Un cronómetro real da un número distinto en cada ejecución. La primera suele ser lenta, porque se cargan el código y los datos. Además, otro programa puede estorbar a una ejecución suelta.
Así que ejecuta una vez para calentar y tira ese resultado. Repite varias veces y da la mediana, que una ejecución rara no puede arrastrar. Nombra la máquina y la configuración, porque otra máquina da otros números.
Pruébalo: media frente a mediana
# Ocho mediciones de la misma petición, en milisegundos. La primera fue en frío.
runs = [41.0, 12.5, 12.1, 13.0, 12.4, 30.2, 12.6, 12.3]
total = 0
for one in runs:
total = total + one
print("media de todas:", round(total / len(runs), 2))
warm = sorted(runs[1:])
print("el centro de las calientes:", warm[len(warm) // 2])
# Cambia 30.2 por 300. ¿Qué número se mueve y cuál se queda?
Cronometra de verdad el modelo diminuto
En el laboratorio, abre JupyterLab y el cuaderno start.ipynb, y ejecuta la celda que hay bajo Real timings. Cronometra con un reloj real el prefill, un paso de decodificación y tres tamaños de lote. Primero calienta, luego repite siete veces e imprime el valor del centro.
Tus números serán distintos de los de quien tienes al lado y de una ejecución a otra. Por eso los scripts de steps cuentan trabajo en vez de cronometrar.