¿Por qué un chatbot escribe su respuesta poco a poco?
Cuando le preguntas algo a un chatbot, la respuesta aparece palabra a palabra. No es teatro: el modelo de verdad hace un token y luego el siguiente. Este laboratorio te da un modelo de lenguaje diminuto para verlo trabajar y para acelerarlo como hacen los servidores reales. Lee caracteres y es demasiado pequeño para servir de algo.
Al final de esta lección
Nota
Puedo explicar cómo escribe un modelo de lenguaje una respuesta token a token.
Palabras clave
- Inferencia: ejecutar un modelo ya entrenado para obtener una respuesta.
- Token: un trozo de texto que el modelo lee o escribe. Aquí, un carácter.
- Prefill: la primera pasada, que lee el prompt entero.
- Decodificación: cada pasada siguiente, que hace un token nuevo (decode en inglés).
- Caché KV: las claves y los valores de los tokens anteriores, guardados para no calcularlos otra vez.
- Cuantizar: guardar números en menos bytes, con una escala para recuperarlos.
Para empezar: lo que ya sabes
Nota
Responde mentalmente. 1. ¿Qué hace un bucle? 2. Si lees dos veces una página larga, ¿tardas más o menos que leyéndola una vez? 3. ¿Qué ocupa menos sitio, el número 0,3014 o el número 30? Respuestas: repite un paso; más; 30.
Antes de empezar
Nota
Pulsa Iniciar el laboratorio en la barra de arriba de la lección y espera a que diga que está en marcha. Hay un contenedor, jupyter, y la terminal llega a su Python con docker exec jupyter, que ejecuta una orden dentro de él. El enlace JupyterLab abre su página web, en el puerto 8888. Cada botón Ejecutar de abajo escribe su orden en la terminal de tu laboratorio, una detrás de otra en la misma sesión. Para verlas o escribir las tuyas, pulsa Abrir el terminal en la barra.
El modelo se entrenó al arrancar el laboratorio
ls lista la carpeta de trabajo: el modelo tiny.py, el archivo de pesos model.npz, el cuaderno, la carpeta steps y train.log. Ese registro es lo que imprimió el entrenamiento. La pérdida, lo sorprendido que queda el modelo con el carácter siguiente, bajó de 2.944 a 0.317 en 2000 pasos, con 242 caracteres de texto en inglés y 19 caracteres distintos.
docker exec jupyter lsSe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
docker exec jupyter cat train.logSe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Una pasada lee el prompt, luego una por token
El script le da al modelo el prompt "the cat sat ". La primera línea dice que leyó los 12 caracteres en una sola pasada: eso es el prefill. Después, cada línea es una pasada de decodificación que elige un carácter, hasta que el texto dice "the cat sat on the mat".
docker exec jupyter python3 steps/generate.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Una caché KV ahorra volver a leer el texto
El script escribe 32 caracteres dos veces, una volviendo a leer todo el texto en cada pasada y otra con una caché KV. El texto es el mismo de las dos maneras. Sin la caché, el modelo calculó 880 filas de claves y valores; con ella, 43. La caché hizo 8,8 veces menos trabajo.
docker exec jupyter python3 steps/cache.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Comprueba
Consejo
¿Por qué la caché no cambió el texto? Respuesta: guarda las mismas claves y valores que el modelo volvería a calcular, así que cada elección es la misma. Cambia el trabajo, no la respuesta.
El batching reparte el trabajo entre usuarios
Un servidor atiende a varias personas a la vez, en huecos. El script planifica seis peticiones en tres huecos de dos maneras. El batching estático espera a que acabe todo un lote: 14 pasos, huecos ocupados el 55%. El batching continuo llena un hueco libre en el paso siguiente: 9 pasos, ocupados el 85%.
docker exec jupyter python3 steps/batch.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Un modelo pequeño adivina, el grande comprueba
En la decodificación especulativa, un modelo borrador diminuto adivina cuatro caracteres y el modelo los comprueba en una sola pasada, y se queda con las conjeturas hasta la primera que falla. Cada línea es una ronda. Al final, el texto es el mismo que con la decodificación normal (True), hecho en 13 pasadas en vez de 32.
docker exec jupyter python3 steps/speculate.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Int8 guarda cada peso en un byte
El script redondea cada peso a un número entero de -127 a 127, con una escala para cada fila. Los pesos bajan de 12108 bytes a 3543. El modelo sigue eligiendo el mismo carácter siguiente en 64 de 64 posiciones, y escribe la misma respuesta.
docker exec jupyter python3 steps/quantise.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Un error frecuente
Advertencia
Mucha gente cree que estos trucos hacen el modelo más listo. Ninguno cambia lo que escribe: la caché, el batching y la decodificación especulativa dan exactamente el mismo texto, e int8 dio aquí el mismo texto. Lo que cambian es el coste: cuánto trabajo, cuánta memoria y cuánto tiempo. Comprueba siempre que la respuesta sigue igual.
El mismo trabajo en un cuaderno
Abre JupyterLab desde la barra y haz doble clic en start.ipynb. Pulsa en una celda y luego Mayús y Intro para ejecutarla. La celda bajo Real timings cronometra el modelo con un reloj de verdad, así que sus números cambian de una ejecución a otra. La última celda es donde va tu propia pregunta.
Comprobación final
Consejo
Responde sin mirar atrás. 1. ¿Cómo se llama la primera pasada, la que lee el prompt? 2. ¿Cuántos tokens hace una pasada de decodificación? 3. ¿Qué ahorró la caché KV? 4. ¿Cambió int8 la respuesta aquí? Respuestas: prefill; uno; volver a calcular las claves y los valores, 880 filas frente a 43; no.
Para docentes
Consejo
Esta lección es un pequeño ejemplo de lección que se hace en un laboratorio: los pasos y los botones Ejecutar son la lección, y el laboratorio es la copia de cada estudiante. El laboratorio es un solo servicio, JupyterLab con un modelo de caracteres diminuto escrito en NumPy y entrenado al arrancar, y nada aquí se corrige solo: el estudiante entrega un cuaderno propio, descargado de JupyterLab, y una frase sobre lo que mostró. Puntos clave: 1. Un modelo escribe un token por pasada tras una pasada de prefill. 2. La caché KV, el batching y la decodificación especulativa cambian el coste y no el texto. 3. Int8 reduce los pesos a más o menos la cuarta parte. Error frecuente: creer que estos trucos cambian la respuesta. Material: el laboratorio y un navegador. Consejo: pide a los estudiantes que predigan lo que ahorra la caché antes de ejecutarlo. El módulo Cómo funciona la inferencia de un LLM, en una CPU, se trabaja en el mismo laboratorio. Cópiala en tu propio módulo y modifícala, o crea una desde cero con el menú Laboratorio del constructor de lecciones.