Laboratorio de inferencia de LLM: un modelo de lenguaje diminuto en una CPU, con caché KV, batching e int8

Este laboratorio da a cada alumno un JupyterLab propio con un modelo de lenguaje diminuto escrito en NumPy, lo bastante corto para leerlo entero: lee caracteres, tiene una capa de atención y guarda una caché KV. Se entrena al arrancar el laboratorio, en menos de un segundo, con un texto y una semilla fijos, así que todas las copias tienen el mismo modelo. Unos scripts cortos muestran cómo funciona la inferencia y cómo la aceleran los servidores, e imprimen siempre lo mismo porque cuentan trabajo en vez de cronometrarlo.

El modelo es demasiado pequeño para servir de algo, y el laboratorio lo dice: solo enseña el mecanismo. No hay GPU, no se descarga nada y no se llama a ningún servicio de IA. Tampoco es un laboratorio de ataque: ninguna copia tiene salida a internet ni acceso a la de otro alumno.

Qué aprenden los alumnos

Cómo responde un modelo de lenguaje: una pasada de prefill lee el prompt, luego una pasada de decodificación hace cada token nuevo, y por qué la decodificación está limitada por la lectura de memoria. Generan los mismos 32 caracteres con y sin caché KV y cuentan 880 filas de claves y valores frente a 43. Planifican seis peticiones en tres huecos y ven que el batching continuo acaba en 9 pasos donde el estático tarda 14. Decodifican de forma especulativa con un modelo borrador pequeño, 13 pasadas para 32 caracteres con el mismo texto, y cuantizan el modelo a int8, de 12108 bytes a 3543 con el mismo carácter siguiente en cada posición comprobada. Sirve para un segundo curso de aprendizaje automático o de rendimiento de sistemas; consulta en la unidad de tu propio organismo certificador la redacción exacta, aquí no se cita ninguna.

Ejecútalo en el navegador

El laboratorio inicia un servicio, jupyter, que escribe en su carpeta de trabajo el modelo, un script de entrenamiento, una ayuda para int8, un script de tiempos, un cuaderno de partida y los scripts cortos, y luego entrena el modelo, sin descargar nada. JupyterLab no pide ningún token, porque la propia puerta de la plataforma ya sabe quién lo abre. La terminal de al lado no tiene Python propio, así que llega al del laboratorio con docker exec jupyter seguido de la orden que se ejecuta dentro.

  1. Abre la página Contenedor. Abre «Crear» en la barra y elige «Ejecutar un contenedor». Cualquiera puede abrir la página, y el laboratorio de Git y el de SQL se inician sin cuenta. Todos los demás laboratorios necesitan una cuenta gratuita: crea una, inicia sesión y pulsa «Iniciar».
  2. Busca el laboratorio. La tarjeta «Laboratorios de ejemplo» lista todos los ejemplos. Busca LLM inference: a tiny model on a CPU.
  3. Pulsa «Iniciar». «Iniciar» lo ejecuta tal cual, con una sola pulsación. «Editar el archivo primero» abre el archivo compose para que lo cambies antes de iniciarlo.
  4. Ábrelo. En la página del laboratorio, la barra tiene un enlace llamado JupyterLab: púlsalo para abrir JupyterLab en el navegador y lee tiny.py en el editor de archivos. Después pulsa «Abrir el terminal» y escribe docker exec jupyter python3 steps/cache.py para ver el mismo texto hecho con y sin caché KV, y el trabajo de cada manera.

Qué pedir a los alumnos que entreguen

Un cuaderno propio que use tiny.py para responder a una pregunta que hayan elegido, como cuánto crece el trabajo de un paso de decodificación con la longitud del texto, cuánto cambia el carácter siguiente cuando los pesos se cuantizan con una sola escala en vez de una por fila, o cómo cambia la aceptación de la decodificación especulativa con el número de conjeturas, descargado de JupyterLab con File, Download. Luego una o dos frases con sus propias palabras sobre lo que encontraron. Nada se califica solo: la frase muestra si lo entendieron.

Una lección básica en este laboratorio

LLM Inference Basics (Fundamentos de la inferencia de un LLM) es una lección pequeña que se hace en este laboratorio. En ella el alumno lee el registro del entrenamiento, ve el prefill y luego la decodificación, compara una caché KV con ninguna, planifica peticiones de las dos maneras, decodifica de forma especulativa y cuantiza el modelo a int8. El módulo Cómo funciona la inferencia de un LLM, en una CPU, se trabaja en el mismo laboratorio, con seis lecciones y seis tareas calificadas.

Las cuentas personales gratuitas la tienen en el módulo Basics, que está en Inicio, y cualquier centro puede copiarla desde la carpeta Basics de la Biblioteca. Es pequeña a propósito: enseña a un docente qué es una lección hecha en un laboratorio, y el laboratorio hace el resto. Cópiala en un módulo tuyo para cambiarla.

El código en GitHub

El archivo compose no tiene Dockerfile: ejecuta una sola imagen pública sin cambios, la scipy-notebook de los propios Jupyter Docker Stacks, fijada a una etiqueta con fecha, con su propia cuenta sin privilegios y 512 MB de memoria, y el modelo solo usa NumPy. La imagen tiene licencia BSD-3-Clause y no la distribuimos nosotros. El archivo escribe cada archivo de Python a partir de un texto fijo al arrancar y entrena con una semilla fija, así que todas las copias imprimen lo mismo y no se descarga nada. Los límites son honestos: el modelo es diminuto y su texto solo tiene sentido unas pocas palabras, los tiempos reales del cuaderno cambian de una ejecución a otra, y nada se guarda al detener el laboratorio, así que el alumno descarga antes su cuaderno.

Ponlo como trabajo

Indica en la tarea qué hay que entregar.

  1. Crea el laboratorio. En tu módulo añade una tarea y elige la tarjeta «Laboratorio de contenedores», y después «En un repositorio de GitHub». Indica https://github.com/mitsurutech/lab-inference-lab con la rama main. El archivo compose es el predeterminado, compose.yaml. Haz un fork del repositorio antes si quieres modificarlo, por ejemplo para entrenar el modelo con un texto tuyo.
  2. Publica y pruébalo. «Publicar» fija el commit que te mostraron, así que un cambio posterior en el repositorio no altera un laboratorio que ya has asignado. Inicia primero tu propia copia.
  3. Asígnalo. Asígnalo como cualquier tarea, con una fecha de entrega si quieres, e indica en la tarea qué hacer y qué entregar.
  4. Califica lo entregado. Abre la copia de un alumno y el trabajo que ha entregado, califícalo y devuélvelo con un motivo si necesita más.

Prueba este laboratorio, y lo que cuesta

Con una cuenta personal gratuita puedes seguir las lecciones básicas de este laboratorio, con crédito gratuito suficiente cada mes para seguir la mayoría de las lecciones y sin tarjeta. Para una clase, un centro tiene gratis sus primeros 365 días, hasta 50 alumnos, y después paga por alumno y año, con todos los laboratorios incluidos y el profesorado gratis.

Preguntas frecuentes

¿Por qué no hay que escribir ningún token ni contraseña?
A la página web de un laboratorio solo se llega por la propia puerta de la plataforma, que ya sabe quién eres y solo deja pasar a ti y al profesorado de tu módulo. Por eso JupyterLab arranca sin token. No lo ejecutes así en una máquina a la que pueda llegar otra persona.
¿Por qué la terminal usa docker exec jupyter?
La terminal del laboratorio trae unos pocos clientes y nada de Python. docker exec jupyter ejecuta una orden dentro del propio contenedor del laboratorio, que sí tiene Python. JupyterLab también tiene su propia terminal, en File, New, Terminal.
¿Es un modelo de lenguaje de verdad?
Lo es, pero muy pequeño: lee caracteres, tiene una capa de atención y unos 4400 números, y se entrenó con un solo párrafo en inglés. Su texto solo tiene sentido unas pocas palabras. Cada idea que enseña, la caché, el batching, la decodificación especulativa e int8, funciona igual en un modelo grande; solo cambian los tamaños.
¿Por qué los scripts cuentan trabajo en vez de cronometrarlo?
Un reloj real da un número distinto en cada ejecución y en cada máquina, así que una lección no podría decir qué verá el alumno. Los scripts cuentan multiplicaciones-suma y bytes leídos, que son siempre los mismos. El cuaderno tiene una celda que cronometra el modelo de verdad, con calentamiento y repeticiones, para comparar.
¿Necesita una GPU?
No. El modelo es lo bastante pequeño para cualquier CPU, y el laboratorio es un JupyterLab con NumPy. Un motor de servicio real en una GPU hace lo mismo a un tamaño mucho mayor; el laboratorio modela las ideas y las lecciones dicen lo que deja fuera.