¿Te resulta más fácil leer con fondo crema, un tono de color, más contraste o un texto más grande? Elige tus colores y tu texto una sola vez, para todas las páginas.

Lección gratuita

Fundamentos de la inferencia de un LLM

La lección completa es gratis e interactiva. Léela aquí, o pulsa Iniciar laboratorio para practicarla de verdad en un laboratorio en vivo, sin cuenta.

Laboratorio de contenedores11 min de lectura7 comandos

¿Por qué un chatbot escribe su respuesta poco a poco?

Cuando le preguntas algo a un chatbot, la respuesta aparece palabra a palabra. No es teatro: el modelo de verdad hace un token y luego el siguiente. Este laboratorio te da un modelo de lenguaje diminuto para verlo trabajar y para acelerarlo como hacen los servidores reales. Lee caracteres y es demasiado pequeño para servir de algo.

Al final de esta lección

Nota

Puedo explicar cómo escribe un modelo de lenguaje una respuesta token a token.

Palabras clave

  • Inferencia: ejecutar un modelo ya entrenado para obtener una respuesta.
  • Token: un trozo de texto que el modelo lee o escribe. Aquí, un carácter.
  • Prefill: la primera pasada, que lee el prompt entero.
  • Decodificación: cada pasada siguiente, que hace un token nuevo (decode en inglés).
  • Caché KV: las claves y los valores de los tokens anteriores, guardados para no calcularlos otra vez.
  • Cuantizar: guardar números en menos bytes, con una escala para recuperarlos.

Para empezar: lo que ya sabes

Nota

Responde mentalmente. 1. ¿Qué hace un bucle? 2. Si lees dos veces una página larga, ¿tardas más o menos que leyéndola una vez? 3. ¿Qué ocupa menos sitio, el número 0,3014 o el número 30? Respuestas: repite un paso; más; 30.

Antes de empezar

Nota

Pulsa Iniciar el laboratorio en la barra de arriba de la lección y espera a que diga que está en marcha. Hay un contenedor, jupyter, y la terminal llega a su Python con docker exec jupyter, que ejecuta una orden dentro de él. El enlace JupyterLab abre su página web, en el puerto 8888. Cada botón Ejecutar de abajo escribe su orden en la terminal de tu laboratorio, una detrás de otra en la misma sesión. Para verlas o escribir las tuyas, pulsa Abrir el terminal en la barra.

El modelo se entrenó al arrancar el laboratorio

ls lista la carpeta de trabajo: el modelo tiny.py, el archivo de pesos model.npz, el cuaderno, la carpeta steps y train.log. Ese registro es lo que imprimió el entrenamiento. La pérdida, lo sorprendido que queda el modelo con el carácter siguiente, bajó de 2.944 a 0.317 en 2000 pasos, con 242 caracteres de texto en inglés y 19 caracteres distintos.

Comando
docker exec jupyter ls

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Comando
docker exec jupyter cat train.log

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Una pasada lee el prompt, luego una por token

El script le da al modelo el prompt "the cat sat ". La primera línea dice que leyó los 12 caracteres en una sola pasada: eso es el prefill. Después, cada línea es una pasada de decodificación que elige un carácter, hasta que el texto dice "the cat sat on the mat".

Comando
docker exec jupyter python3 steps/generate.py

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Una caché KV ahorra volver a leer el texto

El script escribe 32 caracteres dos veces, una volviendo a leer todo el texto en cada pasada y otra con una caché KV. El texto es el mismo de las dos maneras. Sin la caché, el modelo calculó 880 filas de claves y valores; con ella, 43. La caché hizo 8,8 veces menos trabajo.

Comando
docker exec jupyter python3 steps/cache.py

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Comprueba

Consejo

¿Por qué la caché no cambió el texto? Respuesta: guarda las mismas claves y valores que el modelo volvería a calcular, así que cada elección es la misma. Cambia el trabajo, no la respuesta.

El batching reparte el trabajo entre usuarios

Un servidor atiende a varias personas a la vez, en huecos. El script planifica seis peticiones en tres huecos de dos maneras. El batching estático espera a que acabe todo un lote: 14 pasos, huecos ocupados el 55%. El batching continuo llena un hueco libre en el paso siguiente: 9 pasos, ocupados el 85%.

Comando
docker exec jupyter python3 steps/batch.py

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Un modelo pequeño adivina, el grande comprueba

En la decodificación especulativa, un modelo borrador diminuto adivina cuatro caracteres y el modelo los comprueba en una sola pasada, y se queda con las conjeturas hasta la primera que falla. Cada línea es una ronda. Al final, el texto es el mismo que con la decodificación normal (True), hecho en 13 pasadas en vez de 32.

Comando
docker exec jupyter python3 steps/speculate.py

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Int8 guarda cada peso en un byte

El script redondea cada peso a un número entero de -127 a 127, con una escala para cada fila. Los pesos bajan de 12108 bytes a 3543. El modelo sigue eligiendo el mismo carácter siguiente en 64 de 64 posiciones, y escribe la misma respuesta.

Comando
docker exec jupyter python3 steps/quantise.py

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Un error frecuente

Advertencia

Mucha gente cree que estos trucos hacen el modelo más listo. Ninguno cambia lo que escribe: la caché, el batching y la decodificación especulativa dan exactamente el mismo texto, e int8 dio aquí el mismo texto. Lo que cambian es el coste: cuánto trabajo, cuánta memoria y cuánto tiempo. Comprueba siempre que la respuesta sigue igual.

El mismo trabajo en un cuaderno

Abre JupyterLab desde la barra y haz doble clic en start.ipynb. Pulsa en una celda y luego Mayús y Intro para ejecutarla. La celda bajo Real timings cronometra el modelo con un reloj de verdad, así que sus números cambian de una ejecución a otra. La última celda es donde va tu propia pregunta.

Comprobación final

Consejo

Responde sin mirar atrás. 1. ¿Cómo se llama la primera pasada, la que lee el prompt? 2. ¿Cuántos tokens hace una pasada de decodificación? 3. ¿Qué ahorró la caché KV? 4. ¿Cambió int8 la respuesta aquí? Respuestas: prefill; uno; volver a calcular las claves y los valores, 880 filas frente a 43; no.

Para docentes

Consejo

Esta lección es un pequeño ejemplo de lección que se hace en un laboratorio: los pasos y los botones Ejecutar son la lección, y el laboratorio es la copia de cada estudiante. El laboratorio es un solo servicio, JupyterLab con un modelo de caracteres diminuto escrito en NumPy y entrenado al arrancar, y nada aquí se corrige solo: el estudiante entrega un cuaderno propio, descargado de JupyterLab, y una frase sobre lo que mostró. Puntos clave: 1. Un modelo escribe un token por pasada tras una pasada de prefill. 2. La caché KV, el batching y la decodificación especulativa cambian el coste y no el texto. 3. Int8 reduce los pesos a más o menos la cuarta parte. Error frecuente: creer que estos trucos cambian la respuesta. Material: el laboratorio y un navegador. Consejo: pide a los estudiantes que predigan lo que ahorra la caché antes de ejecutarlo. El módulo Cómo funciona la inferencia de un LLM, en una CPU, se trabaja en el mismo laboratorio. Cópiala en tu propio módulo y modifícala, o crea una desde cero con el menú Laboratorio del constructor de lecciones.

Sobre este laboratorio y su código: Laboratorio de inferencia de LLM: un modelo de lenguaje diminuto en una CPU, con caché KV, batching e int8

¿Enseñas a una clase? Asigna estas lecciones a tus estudiantes con calificación y un laboratorio para cada uno.