¿Qué le envía una aplicación a un chatbot?
El chat de una tienda o una app que te ayuda con los deberes es un programa. Manda lo que escribes a un modelo de lenguaje y te enseña lo que vuelve. En este laboratorio escribes la parte de ese programa: la petición, la respuesta y lo que sale mal. El modelo de aquí es un sustituto: contesta como uno de verdad, pero siempre da la misma respuesta, así que puedes comprobar cada resultado.
Al final de esta lección
Nota
Puedo enviar una petición a la API de un modelo de lenguaje y leer cada parte de su respuesta.
Palabras clave
- API: una forma de que un programa le pida algo a otro.
- Mensaje: un turno de la conversación, con un rol y un texto.
- Rol: de quién es un mensaje:
system(el sistema),user(el usuario) oassistant(el asistente). - Token: un trozo pequeño de texto que un modelo lee o escribe.
- Stream: una respuesta que llega a trozos mientras se va haciendo.
Para empezar: lo que ya sabes
Nota
Responde mentalmente. 1. ¿Qué significa un código HTTP 200? 2. En JSON, ¿qué guardan las llaves {}? 3. Si una web está saturada, ¿es mejor volver a intentarlo enseguida o después de una pausa? Respuestas: que ha ido bien; nombres y valores; después de una pausa.
Antes de empezar
Nota
Pulsa Iniciar el laboratorio en la barra de arriba de la lección y espera a que diga que está en marcha. Hay dos contenedores. model es el sustituto, que contesta en http://model:4000/v1, y el curl de la terminal llega a él directamente. tools tiene el Python del laboratorio, y docker exec tools ejecuta una orden dentro de él. Cada botón Ejecutar de abajo escribe su orden en la terminal de tu laboratorio, una detrás de otra en la misma sesión. Para verlas o escribir las tuyas, pulsa Abrir el terminal en la barra.
La petición es JSON, y la respuesta también
La primera orden pregunta qué modelos hay: uno, llamado lab. La segunda manda un mensaje de usuario que pregunta por la capital de Francia. En la respuesta, choices lleva el texto, "The capital of France is Paris.", y finish_reason vale stop: terminó por sí sola. usage cuenta 15 tokens de entrada y 10 de salida.
curl -s -w "\n" http://model:4000/v1/modelsSe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
curl -s -w "\n" http://model:4000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"lab","messages":[{"role":"user","content":"What is the capital of France?"}]}'Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
El mensaje de sistema pone las reglas, y no se recuerda nada
La misma pregunta tres veces. Un mensaje de sistema que dice "Answer in capital letters." (contesta en mayúsculas) da la respuesta en mayúsculas, y "Only answer questions about cooking." (contesta solo sobre cocina) da una negativa educada. Luego el usuario dice "My name is Sam.". El modelo sabe el nombre solo cuando se vuelven a enviar los mensajes anteriores; con la pregunta sola contesta que no lo sabe. El modelo no guarda nada entre una petición y otra: eso lo hace tu programa.
docker exec tools python3 steps/roles.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Los tokens son lo que se paga
El sustituto parte "The lighthouse keeper counted ships." en 11 tokens. Un cuento entero usó 14 tokens de entrada y 66 de salida. Con max_tokens en 12, la respuesta se corta a mitad de palabra y finish_reason vale length. Con precios inventados de 50 peniques por millón de tokens de entrada y 200 por millón de salida, una petición cuesta 0,0139 peniques, y 1200 peticiones (30 alumnos que preguntan 40 veces cada uno), 16,68 peniques.
docker exec tools python3 steps/tokens.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Comprueba
Consejo
Una respuesta acaba con finish_reason length. ¿Qué ha pasado? Respuesta: llegó a max_tokens y se cortó, así que puede estar sin terminar. Pide más tokens o haz una pregunta más corta.
Los ajustes de muestreo cambian cómo elige un modelo real
Un modelo real elige cada token siguiente entre los más probables. Con temperature cerca de 0 casi siempre se queda con el más probable; con valores más altos se arriesga más. seed hace que una elección se repita. El script manda cinco ajustes distintos y recibe una sola respuesta: "the same every time: True". El sustituto los ignora, cosa que un modelo real no haría.
docker exec tools python3 steps/sampling.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
La salida estructurada es JSON que tu programa comprueba
A un programa le cuesta usar texto libre. Aquí la petición ofrece una herramienta, record_person, con un esquema, y obliga al modelo a llamarla. La respuesta trae tool_calls, con los argumentos como texto: {"name": "Aiko", "age": 17, "city": "Leeds"}. El script lo analiza, comprueba el tipo de cada campo y solo entonces usa la edad como número: el año que viene tendrá 18.
docker exec tools python3 steps/structured.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Un stream llega a trozos, y los errores necesitan un plan
Con "stream":true la respuesta llega en 14 eventos: un comienzo vacío, uno por token, el final, el recuento de tokens y por último [DONE]. Después, el script manda #busy, que el sustituto rechaza con un 429 dos de cada tres veces. Espera 1 segundo, luego 2, y el tercer intento funciona. #broken falla siempre, así que al tercer intento se rinde. Un 400 no se repite nunca: la petición está mal y volvería a fallar.
curl -sN http://model:4000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"lab","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"What is the capital of France?"}]}'Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
docker exec tools python3 steps/retry.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Un error frecuente
Advertencia
Mucha gente cree que el modelo recuerda la conversación. No es así: cada petición va sola, y el modelo solo conoce los mensajes que lleva dentro. Una app de chat vuelve a mandar la conversación entera cada vez, y por eso las conversaciones largas gastan más tokens y cuestan más.
Comprobación final
Consejo
Responde sin mirar atrás. 1. ¿Qué rol pone las reglas de una conversación? 2. ¿Qué significa finish_reason length? 3. ¿Por qué hay que analizar y comprobar la salida estructurada? 4. ¿Qué errores merece la pena reintentar? Respuestas: system; que llegó a max_tokens; porque es solo texto hasta que tu programa lo comprueba; los de saturación, como el 429, con una pausa cada vez más larga.
Para docentes
Consejo
Esta lección es un pequeño ejemplo de lección que se hace en un laboratorio: los pasos y los botones Ejecutar son la lección, y el laboratorio es la copia de cada estudiante. El laboratorio son dos servicios de una misma imagen de Python: un modelo sustituto que contesta con el formato de la API de un modelo real según reglas fijas, y un Python con un cliente y scripts cortos. No se llama a ningún modelo real, así que no cuesta nada y cada salida es siempre la misma. Puntos clave: 1. Una petición es una lista de mensajes, cada uno con su rol. 2. El modelo solo recuerda lo que manda cada petición. 3. Los tokens limitan una respuesta y fijan su coste. 4. La salida estructurada hay que analizarla y comprobarla. Error frecuente: creer que el modelo recuerda. Material: el laboratorio y un navegador. Consejo: pide a los estudiantes que predigan cada salida antes de pulsar Ejecutar, y luego que digan qué haría distinto un modelo real. Cópiala en tu propio módulo y modifícala, o crea una desde cero con el menú Laboratorio del constructor de lecciones.