¿Te resulta más fácil leer con fondo crema, un tono de color, más contraste o un texto más grande? Elige tus colores y tu texto una sola vez, para todas las páginas.

Lección gratuita

Fundamentos de un servicio de chatbot

La lección completa es gratis e interactiva. Léela aquí, o pulsa Iniciar laboratorio para practicarla de verdad en un laboratorio en vivo, sin cuenta.

Laboratorio de contenedores13 min de lectura11 comandos

¿Quién se acuerda de la conversación?

La biblioteca de un instituto tiene una ventana de chat en su web. Escribes tu nombre, luego haces una pregunta, y todavía sabe quién eres. El modelo de lenguaje que hay detrás no recuerda nada. Lo recuerda un pequeño programa que está en medio: guarda la conversación y protege a quien la usa. En este laboratorio pones a prueba ese programa, frente a un modelo sustituto que siempre da la misma respuesta.

Al final de esta lección

Nota

Puedo explicar qué añade un servicio de chat alrededor de un modelo de lenguaje.

Palabras clave

  • Sesión: una conversación, guardada con su propio nombre.
  • Presupuesto de contexto: cuántos tokens del historial se envían cada vez.
  • Prompt de sistema: las reglas que el servicio envía primero y que el usuario no puede cambiar.
  • Persona: el nombre y el estilo que se le dan al asistente.
  • Moderación: revisar las palabras antes de enviarlas o mostrarlas.
  • Límite de peticiones: cuántos mensajes puede enviar un usuario en un minuto.

Para empezar: lo que ya sabes

Nota

Responde mentalmente. 1. ¿Qué rol de mensaje fija las reglas? 2. ¿Recuerda un modelo la petición anterior? 3. ¿Qué debe hacer un programa cuando un modelo dice que está ocupado? Respuestas: system; no, solo sabe lo que le envía cada petición; esperar y volver a intentarlo.

Antes de empezar

Nota

Pulsa Iniciar el laboratorio en la barra de arriba de la lección y espera a que diga que está en marcha. Hay dos contenedores. model es el sustituto. chat es el servicio de chat, en http://chat:8000/chat, y el curl de la terminal llega hasta él. docker exec chat ejecuta una orden dentro de ese contenedor. Cada botón Ejecutar de abajo escribe su orden en la terminal de tu laboratorio, una detrás de otra en la misma sesión. Para verlas o escribir las tuyas, pulsa Abrir el terminal en la barra.

Una sesión guarda la conversación

Cada mensaje lleva un usuario y una sesión. En la sesión s1 dices "My name is Ana." y luego preguntas cómo te llamas: la respuesta es "Your name is Ana." El servicio volvió a enviar los mensajes anteriores. En la sesión s2, la misma pregunta recibe "I do not know your name." Las sesiones nunca se mezclan, así que la conversación de una persona nunca llega a otra.

Comando
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u1","session":"s1","message":"My name is Ana."}'

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Comando
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u1","session":"s1","message":"What is my name?"}'

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Comando
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u2","session":"s2","message":"What is my name?"}'

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

El historial tiene un presupuesto, y el prompt de sistema va primero

Cada token enviado cuesta dinero y tiempo, así que el servicio solo envía el historial más reciente que cabe. El script hace cuatro preguntas dos veces. Con un presupuesto de 120 tokens envía 85 y sigue sabiendo que te llamas Ana. Con 40 envía 37, el mensaje con el nombre se queda fuera y la respuesta es "I do not know your name." El prompt de sistema y la persona siempre van primero: la persona books se niega a hacer una multiplicación.

Comando
docker exec chat python3 trim_demo.py

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Comando
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u3","session":"s3","persona":"books","message":"What is 6 times 7?"}'

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Comprueba

Consejo

Un chat largo de repente olvida el nombre del usuario. ¿Qué ha pasado? Respuesta: el mensaje con el nombre ya no cabía en el presupuesto de contexto, así que no se envió. Sube el presupuesto, o guarda un resumen corto de lo que importa.

Las palabras se revisan al entrar y al salir

"You are useless." no se envía nunca: moderated vale input y tries vale 0. La respuesta del modelo sobre el bibliotecario llevaba un correo electrónico y un número de teléfono, y los dos se convirtieron en [removed]. Una respuesta en streaming llega por trozos, así que el servicio espera a tener cada frase entera, la revisa y entonces la envía: cuatro frases y luego [DONE].

Comando
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u4","session":"s4","message":"You are useless."}'

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Comando
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u4","session":"s4","message":"How do I contact the librarian?"}'

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Comando
curl -s -N http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u4","session":"s5","stream":true,"message":"What are the library rules?"}'

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Un modelo ocupado se reintenta, y las conversaciones fijas son pruebas

El sustituto rechaza #busy dos veces. El servicio espera medio segundo, luego un segundo, y responde al tercer intento. #broken falla siempre, así que tras tres intentos el usuario recibe una disculpa y el estado 503, nunca un error. Cada usuario puede enviar 10 mensajes por minuto. El registro guarda recuentos e identificadores cifrados con hash, nunca palabras. Las pruebas repiten conversaciones fijas: 9 comprobaciones, 0 fallos.

Comando
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u5","session":"s6","message":"What are the library hours? #busy"}'

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Comando
curl -s -w "\n%{http_code}\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u5","session":"s7","message":"What are the library hours? #broken"}'

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Comando
docker exec chat python3 test_transcripts.py

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Un error frecuente

Advertencia

Mucha gente cree que un prompt de sistema basta para que un chatbot sea seguro. No basta: un modelo puede seguir diciendo algo que no debe. Revisa lo que entra y lo que sale en el servicio, que es donde las reglas se aplican siempre.

Comprobación final

Consejo

Responde sin mirar atrás. 1. ¿Quién guarda la conversación, el modelo o el servicio? 2. ¿Por qué se recorta el historial a un presupuesto? 3. ¿Por qué se revisa una respuesta antes de mostrarla? 4. ¿Qué puede guardar el registro de un chat? Respuestas: el servicio; los tokens cuestan dinero y tiempo; un modelo puede decir cosas que no debe; recuentos e identificadores cifrados con hash, nunca palabras.

Para docentes

Consejo

Esta lección es un pequeño ejemplo de lección que se hace en un laboratorio: los pasos y los botones Ejecutar son la lección, y el laboratorio es la copia de cada estudiante. El laboratorio son dos servicios de una misma imagen de Python: un modelo sustituto que responde con reglas fijas y un servicio de chat escrito con la biblioteca estándar de Python. No se llama a ningún modelo real, así que no cuesta nada y cada salida es siempre la misma. Puntos clave: 1. El servicio guarda cada conversación, no el modelo. 2. El historial se recorta a un presupuesto de tokens. 3. Las palabras se revisan al entrar y al salir. 4. Un modelo ocupado se reintenta y uno averiado da una disculpa. Error frecuente: confiar solo en el prompt de sistema. Material: el laboratorio y un navegador. Consejo: pide a los estudiantes que añadan una palabra prohibida a chatbot.py y una conversación que lo demuestre, para que cambien el servicio y lo prueben. Cópiala en tu propio módulo y modifícala, o crea una desde cero con el menú Laboratorio del constructor de lecciones.

Sobre este laboratorio y su código: Laboratorio de servicio de chatbot: el programa entre la ventana de chat y el modelo de lenguaje

¿Enseñas a una clase? Asigna estas lecciones a tus estudiantes con calificación y un laboratorio para cada uno.