Laboratorio de servicio de chatbot: el programa entre la ventana de chat y el modelo de lenguaje
Este laboratorio da a cada alumno un pequeño servicio de chat propio: el programa que está entre la ventana de chat y el modelo de lenguaje y hace el trabajo que el modelo no hace. Guarda cada conversación, la recorta a un presupuesto de tokens, aplica un prompt de sistema y una persona, revisa las palabras al entrar y al salir, envía las respuestas en streaming, aguanta un modelo ocupado o averiado, limita a cada usuario y lleva un registro sin datos personales. Se prueba con conversaciones fijas.
El modelo es un sustituto, y el laboratorio lo dice en todas partes: responde con el mismo formato que la API de un modelo real, pero elige cada respuesta con reglas fijas, así que la misma pregunta recibe siempre la misma respuesta. Eso es lo que convierte una conversación en una prueba. No se descarga nada, no se llama a ningún servicio de IA y nada cuesta dinero. Ninguna copia tiene salida a internet ni acceso a la de otro alumno.
Qué aprenden los alumnos
Qué añade un servicio de chat alrededor de un modelo. Ven un nombre que se recuerda en una sesión y se desconoce en otra, porque quien guarda cada conversación es el servicio, no el modelo. Observan cómo el presupuesto de contexto decide qué se envía: con 85 tokens de historial se conserva el nombre, con 37 se pierde. Ven a una persona negarse a responder, un mensaje grosero que no llega a enviarse y un correo electrónico y un teléfono borrados de una respuesta. Reciben una respuesta en streaming frase a frase, ya revisada, ven que un modelo ocupado responde al tercer intento y que uno averiado le da al usuario una disculpa con el estado 503, y pasan 9 comprobaciones sobre conversaciones fijas. Encaja en un curso de desarrollo de software o de IA aplicada; consulta el temario de tu propio centro para la redacción exacta, aquí no se cita ninguno.
Ejecútalo en el navegador
El laboratorio arranca dos servicios. model es el sustituto, que responde dentro del laboratorio. chat es el servicio de chat, un archivo de Python escrito con la biblioteca estándar, que responde en http://chat:8000/chat y tiene sus ajustes al principio de /tmp/chatbot.py. La terminal junto al laboratorio tiene curl y no tiene Python, así que llama al servicio directamente y ejecuta los scripts del propio servicio con docker exec chat.
- Abre la página Contenedor. Abre «Crear» en la barra y elige «Ejecutar un contenedor». Cualquiera puede abrir la página, y el laboratorio de Git y el de SQL se inician sin cuenta. Todos los demás laboratorios necesitan una cuenta gratuita: crea una, inicia sesión y pulsa «Iniciar».
- Busca el laboratorio. La tarjeta «Laboratorios de ejemplo» lista todos los ejemplos. Busca Servicio de chatbot: sesiones, moderación y límites.
- Pulsa «Iniciar». «Iniciar» lo ejecuta tal cual, con una sola pulsación. «Editar el archivo primero» abre el archivo compose para que lo cambies antes de iniciarlo.
- Ábrelo. En la página del laboratorio, pulsa «Abrir el terminal» y envía un mensaje con curl, como muestra la lección, a la dirección http://chat:8000/chat. Después escribe docker exec chat python3 test_transcripts.py para ejecutar las pruebas.
Qué pedir que entreguen
Un cambio en chatbot.py, por ejemplo una palabra que rechace, una persona nueva, otro presupuesto o un límite más estricto, con una conversación en test_transcripts.py que demuestre que el cambio funciona. Junto a eso, la salida de las pruebas y una frase sobre qué haría distinto un modelo real. Tras un cambio, docker restart chat vuelve a arrancar el servicio y conserva el archivo editado.
Una lección básica en este laboratorio
Fundamentos de un servicio de chatbot (Chatbot Service Basics) es una lección corta que se hace en este laboratorio. En ella el alumno guarda una conversación en una sesión, ve el presupuesto de contexto en acción, prueba una persona, revisa las palabras al entrar y al salir, recibe una respuesta en streaming, reintenta con un modelo ocupado y ejecuta las pruebas.
Las cuentas personales gratuitas la tienen en el módulo Basics, que está en Inicio, y cualquier centro puede copiarla desde la carpeta Basics de la Biblioteca. Es pequeña a propósito: le enseña a un docente qué es una lección hecha en un laboratorio, y el laboratorio hace el resto. Cópiala en un módulo tuyo para cambiarla.
El código en GitHub
El archivo compose no tiene Dockerfile: ejecuta dos veces una sola imagen pública oficial, Python 3.12 sobre Alpine, fijada a una etiqueta exacta, cada vez con una cuenta sin privilegios y 64 MB de memoria. La imagen está bajo la licencia PSF y no la distribuimos nosotros. Al arrancar, el archivo escribe el sustituto, el servicio de chat y sus pruebas a partir de texto fijo, solo con la biblioteca estándar de Python, así que no se descarga nada. Nada se conserva cuando el laboratorio se detiene, así que el alumno copia antes su trabajo.
Asígnalo como trabajo
Indica en la tarea qué hay que entregar.
- Crea el laboratorio. En tu módulo añade una tarea y elige la tarjeta «Laboratorio de contenedores», y después «En un repositorio de GitHub». Indica https://github.com/mitsurutech/lab-chatbot-lab con la rama main. El archivo compose es el predeterminado, compose.yaml. Haz un fork del repositorio antes si quieres modificarlo, por ejemplo para darle al servicio de chat otra persona o un límite más estricto.
- Publica y pruébalo. «Publicar» fija el commit que te mostraron, así que un cambio posterior en el repositorio no altera un laboratorio que ya has asignado. Inicia primero tu propia copia.
- Asígnalo. Asígnalo como cualquier tarea, con una fecha de entrega si quieres, e indica en la tarea qué hacer y qué entregar.
- Califica lo entregado. Abre la copia de un alumno y el trabajo que ha entregado, califícalo y devuélvelo con un motivo si necesita más.
Prueba este laboratorio, y lo que cuesta
Con una cuenta personal gratuita puedes seguir las lecciones básicas de este laboratorio, con crédito gratuito suficiente cada mes para seguir la mayoría de las lecciones y sin tarjeta. Para una clase, un centro tiene gratis sus primeros 365 días, hasta 50 alumnos, y después paga por alumno y año, con todos los laboratorios incluidos y el profesorado gratis.
Preguntas frecuentes
- ¿Hay un modelo de IA real en este laboratorio?
- No. El modelo es un sustituto escrito para el laboratorio, un programa corto de Python que elige cada respuesta con reglas fijas. Responde con el mismo formato que la API de un modelo real, así que el servicio de chat funcionaría con uno real cambiando una sola dirección, pero sus palabras no se generan. Siempre da la misma respuesta a la misma pregunta, y eso es lo que permite que una conversación fija sea una prueba.
- ¿En qué se diferencia del laboratorio LLM workbench?
- El LLM workbench es la propia API del modelo: peticiones, roles, tokens y streaming. Este laboratorio es el servicio que un chatbot real pone delante de esa API: sesiones, presupuestos, personas, moderación, reintentos, límites, registros y pruebas. Se puede empezar por cualquiera de los dos.
- ¿Cuesta algo o gasta créditos de IA?
- No se usa IA, así que no se cobra nada por ella. El laboratorio funciona como cualquier otro laboratorio de contenedores.
- ¿Qué guarda el registro del chat?
- Una línea por turno en /tmp/chat.log, dentro del servicio de chat: la hora, el usuario y la sesión como hashes cortos, los recuentos de tokens, cuántos intentos hicieron falta y si se rechazó o se borró algo. Nunca las palabras, así que ningún nombre ni mensaje puede filtrarse desde ahí. Las pruebas lo comprueban.
- ¿Pueden mis alumnos enviarle algo personal?
- No llega a ninguna parte: el sustituto se ejecuta dentro de la copia del propio alumno, que no tiene salida a internet. Aun así, conviene enseñar que un servicio de modelo real recibe todo lo que se escribe, así que nada personal ni secreto debe ir en un mensaje.