Banco de pruebas LLM: una API de modelo de lenguaje para practicar, con un modelo sustituto

Este laboratorio da a cada alumno una API de modelo de lenguaje propia para practicar: las peticiones que manda un programa, las respuestas que vuelven y lo que sale mal. La llaman con curl desde la terminal y con scripts cortos de Python, y aprenden mensajes y roles, mensajes de sistema, tokens y límites, ajustes de muestreo, salida estructurada, streaming, errores y reintentos, y cuánto cuesta una petición.

El modelo es un sustituto, y el laboratorio lo dice en todas partes: contesta con el mismo formato que la API de un modelo real, pero elige cada respuesta según reglas fijas, así que la misma pregunta recibe siempre la misma respuesta. Eso es lo que permite comprobar cada resultado. No se descarga nada, no se llama a ningún servicio de IA y nada cuesta dinero. Ninguna copia tiene salida a internet ni acceso a la de otro alumno.

Qué aprenden los alumnos

Cómo habla un programa con un modelo de lenguaje. Mandan una petición en JSON y leen la respuesta: el texto, por qué terminó y los tokens que gastó, 15 de entrada y 10 de salida para una pregunta. Ven cómo un mensaje de sistema cambia la respuesta y hace que rechace una pregunta, y descubren que el modelo no recuerda nada si no se le vuelven a mandar los mensajes anteriores. Cuentan tokens, cortan una respuesta con max_tokens y calculan el coste con precios inventados. Piden salida estructurada con una llamada a herramienta obligatoria y la comprueban, ven llegar una respuesta en streaming en 14 eventos y reintentan con un modelo saturado, con una pausa cada vez más larga, sin reintentar nunca una petición que está mal. Sirve para un curso de desarrollo de software o de IA aplicada; consulta en la unidad de tu propio organismo certificador la redacción exacta, aquí no se cita ninguna.

Ejecútalo en el navegador

El laboratorio inicia dos servicios. model es el sustituto, que contesta en http://model:4000/v1 dentro del laboratorio. tools es un Python con llm.py, un cliente pequeño escrito solo con la biblioteca estándar de Python, y steps/, scripts cortos que muestran una idea cada uno. La terminal de al lado tiene curl y no tiene Python, así que llama al modelo directamente y llega a los scripts con docker exec tools.

  1. Abre la página Contenedor. Abre «Crear» en la barra y elige «Ejecutar un contenedor». Cualquiera puede abrir la página, y el laboratorio de Git y el de SQL se inician sin cuenta. Todos los demás laboratorios necesitan una cuenta gratuita: crea una, inicia sesión y pulsa «Iniciar».
  2. Busca el laboratorio. La tarjeta «Laboratorios de ejemplo» lista todos los ejemplos. Busca Banco de pruebas LLM: una API de modelo para practicar.
  3. Pulsa «Iniciar». «Iniciar» lo ejecuta tal cual, con una sola pulsación. «Editar el archivo primero» abre el archivo compose para que lo cambies antes de iniciarlo.
  4. Ábrelo. En la página del laboratorio, pulsa «Abrir el terminal» y escribe curl -s http://model:4000/v1/models para preguntarle al modelo su nombre, que es lab. Luego escribe docker exec tools python3 steps/roles.py para ver cómo un mensaje de sistema cambia la respuesta.

Qué pedir a los alumnos que entreguen

Un script corto de Python hecho por ellos, ejecutado con docker exec tools python3, que llame al modelo y haga una de las cosas que mostró la lección: mantener una conversación, comprobar una respuesta estructurada con su esquema, o reintentar con un modelo saturado y rendirse al final. Junto con él, la salida que imprimió y una frase sobre lo que haría distinto un modelo real. Nada se califica solo: la frase muestra si lo entendieron.

Una lección básica en este laboratorio

LLM API Basics (Fundamentos de la API de un LLM) es una lección pequeña que se hace en este laboratorio. En ella el alumno manda una petición con curl, pone un mensaje de sistema, cuenta tokens y coste, prueba los ajustes de muestreo, pide salida estructurada, recibe una respuesta en streaming y reintenta con un modelo saturado.

Las cuentas personales gratuitas la tienen en el módulo Basics, que está en Inicio, y cualquier centro puede copiarla desde la carpeta Basics de la Biblioteca. Es pequeña a propósito: enseña a un docente qué es una lección hecha en un laboratorio, y el laboratorio hace el resto. Cópiala en un módulo tuyo para cambiarla.

El código en GitHub

El archivo compose no tiene Dockerfile: ejecuta dos veces una sola imagen pública sin cambios, Python 3.12 sobre Alpine, fijada a una etiqueta exacta, cada vez con una cuenta sin privilegios y 64 MB de memoria. La imagen tiene licencia PSF y no la distribuimos nosotros. Al arrancar, el archivo escribe el sustituto y los scripts a partir de un texto fijo, solo con la biblioteca estándar de Python, así que no se descarga nada. Las reglas del sustituto están al principio de su propio archivo, y un docente puede añadir allí respuestas suyas. Nada se guarda al detener el laboratorio, así que el alumno copia antes su script.

Ponlo como trabajo

Indica en la tarea qué hay que entregar.

  1. Crea el laboratorio. En tu módulo añade una tarea y elige la tarjeta «Laboratorio de contenedores», y después «En un repositorio de GitHub». Indica https://github.com/mitsurutech/lab-llm-workbench con la rama main. El archivo compose es el predeterminado, compose.yaml. Haz un fork del repositorio antes si quieres modificarlo, por ejemplo para darle al modelo sustituto respuestas tuyas.
  2. Publica y pruébalo. «Publicar» fija el commit que te mostraron, así que un cambio posterior en el repositorio no altera un laboratorio que ya has asignado. Inicia primero tu propia copia.
  3. Asígnalo. Asígnalo como cualquier tarea, con una fecha de entrega si quieres, e indica en la tarea qué hacer y qué entregar.
  4. Califica lo entregado. Abre la copia de un alumno y el trabajo que ha entregado, califícalo y devuélvelo con un motivo si necesita más.

Prueba este laboratorio, y lo que cuesta

Con una cuenta personal gratuita puedes seguir las lecciones básicas de este laboratorio, con crédito gratuito suficiente cada mes para seguir la mayoría de las lecciones y sin tarjeta. Para una clase, un centro tiene gratis sus primeros 365 días, hasta 50 alumnos, y después paga por alumno y año, con todos los laboratorios incluidos y el profesorado gratis.

Preguntas frecuentes

¿Hay un modelo de IA de verdad en este laboratorio?
No. El modelo es un sustituto escrito para el laboratorio, un programa corto de Python que elige cada respuesta según reglas fijas. Contesta con el mismo formato que la API de un modelo real, así que lo que aprenden los alumnos sobre peticiones, tokens, streaming y errores sirve igual, pero sus palabras no se generan. A la misma pregunta da siempre la misma respuesta, y eso permite que la lección diga qué verá el alumno.
¿Por qué temperature no cambia nada?
Un modelo real elige cada token siguiente entre los probables, y temperature y seed cambian cómo elige. El sustituto elige siempre la misma respuesta, así que acepta esos ajustes y los ignora. La lección lo dice, y pregunta a los alumnos qué haría un modelo real.
¿Cuesta algo o gasta créditos de IA?
No se usa ninguna IA, así que no se cobra nada por ella. El laboratorio funciona como cualquier otro laboratorio de contenedores. Los precios del paso sobre el coste son inventados, para practicar las cuentas.
¿Por qué la terminal usa docker exec tools?
La terminal del laboratorio trae unos pocos clientes, entre ellos curl, y nada de Python. docker exec tools ejecuta una orden dentro del contenedor de Python del laboratorio, donde están el cliente y los scripts.
¿Pueden mis alumnos mandarle algo personal?
No llega a ninguna parte: el sustituto se ejecuta dentro de la copia del propio alumno, que no tiene salida a internet. Aun así, es buena costumbre enseñar que un servicio de modelos real recibe todo lo que se escribe, así que nada personal ni secreto debe ir en una petición.