¿Cómo sabe un chatbot las normas de tu instituto?
Un instituto pone un chatbot de ayuda en su web. Un modelo de lenguaje nunca ha leído el reglamento del centro, así que no puede saber las normas de la biblioteca. Por eso el programa busca primero los párrafos que hacen falta y los envía junto con la pregunta. A eso se le llama generación aumentada por recuperación, o RAG. Aquí el modelo es un sustituto que siempre da la misma respuesta, así que puedes comprobar cada resultado.
Al final de esta lección
Nota
Puedo encontrar los pasajes que responden a una pregunta y meterlos en un prompt con sus fuentes.
Palabras clave
- Trozo (chunk): un fragmento corto de un documento más largo.
- Embedding: una lista de números que representa un texto.
- Almacén vectorial: los trozos guardados con sus embeddings, para buscar en ellos.
- Similitud: lo cerca que apuntan dos embeddings, de 1 hacia abajo.
- Recall@k: con qué frecuencia la fuente correcta está entre los k primeros resultados.
Para empezar: lo que ya sabes
Nota
Responde mentalmente. 1. ¿Qué parte de una petición de chat fija las reglas? 2. ¿Recuerda un modelo las peticiones anteriores? 3. ¿Qué te devuelve un buscador cuando escribes una consulta? Respuestas: el mensaje de sistema; no, solo lo que envía cada petición; una lista de páginas ordenada.
Antes de empezar
Nota
Pulsa Iniciar el laboratorio en la barra de arriba de la lección y espera a que diga que está en marcha. Hay dos contenedores. model es el sustituto y responde en http://model:4000/v1. tools tiene el Python del laboratorio, cinco documentos cortos en docs/ y scripts en steps/, y docker exec tools ejecuta una orden dentro de él. Cada botón Ejecutar de abajo escribe su orden en la terminal de tu laboratorio, una detrás de otra en la misma sesión. Para verlas o escribir las tuyas, pulsa Abrir el terminal en la barra.
Los documentos se cortan en trozos
Un documento entero es demasiado largo para enviarlo con cada pregunta. Por eso se corta en trozos de unas cuantas palabras, cada uno solapado con el anterior. La página de la biblioteca tiene 63 palabras. Con trozos de 40 palabras y 10 de solape salen 2 trozos. Con trozos de 8 salen 8, y el dato "eight books" queda separado de "three weeks".
docker exec tools python3 steps/chunk.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Un embedding convierte el texto en números
La primera orden le pide al sustituto 8 números para una pregunta. El script pide 128 para cada texto, siempre de longitud 1.0. Dos textos que comparten "borrow" y "books" puntúan 0.866. "Laptop" frente a "notebook computer" puntúa 0.0. El sustituto aplica un hash a las palabras, no al significado. Un modelo de embeddings real coloca los textos según lo que significan, así que esos dos quedarían cerca.
curl -s -w "\n" http://model:4000/v1/embeddings -H "Content-Type: application/json" -d '{"model":"lab","input":"How many books can I borrow?","dimensions":8}'Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
docker exec tools python3 steps/embed.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Comprueba
Consejo
Dos textos significan lo mismo pero no comparten ninguna palabra. ¿Qué puntuación les da el sustituto, y qué haría un modelo de embeddings real? Respuesta: 0.0, porque solo cuenta las palabras compartidas. Un modelo real los pondría cerca, porque compara el significado.
Un almacén vectorial encuentra los trozos más cercanos
El almacén guarda 8 trozos de 5 documentos, cada uno con sus números. La pregunta también se convierte en números, y cada trozo recibe una puntuación de similitud. Los tres primeros vuelven con su fuente. "How many books can I borrow?" encuentra primero library.txt, con 0.333. Un sistema real usa una base de datos vectorial para buscar entre millones de trozos en poco tiempo.
docker exec tools python3 steps/search.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Los pasajes encontrados van al prompt, con su fuente
El script imprime el prompt: cada pasaje empieza con su fuente entre corchetes, y después viene la pregunta. La respuesta nombra [library.txt], así que quien la lea puede comprobarla. Sin fuentes, el sustituto dice que no tiene respuesta. Con trozos de 8 palabras falta el pasaje que contiene "three weeks", así que vuelve a quedarse sin respuesta.
docker exec tools python3 steps/answer.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Un error común
Advertencia
Mucha gente cree que RAG le enseña tus documentos al modelo. No es así: el modelo no aprende nada ni guarda nada. Solo lee los pasajes que se envían con esa pregunta concreta. Si la búsqueda no encuentra el pasaje correcto, la respuesta sale mal o no sale, por bueno que sea el modelo.
Recall@k mide la búsqueda
Hay ocho preguntas de prueba, y de cada una se sabe cuál es la fuente correcta. Recall@k es la proporción de preguntas cuya fuente está entre los k primeros resultados. Con trozos de 40 palabras, recall@1 es 0.75 y recall@3 es 0.875. La pregunta del notebook no comparte ninguna palabra con it.txt, así que nunca se encuentra. Los trozos pequeños puntúan más alto, pero el paso anterior mostró que pierden el dato. Mide también la respuesta.
docker exec tools python3 steps/recall.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Un documento puede llevar instrucciones escondidas
Prueba esto solo con datos que sean tuyos. notice.txt le dice al asistente que anuncie que los exámenes se han cancelado. La búsqueda lo encuentra para una pregunta sobre exámenes, y el sustituto obedece. Apartar los pasajes que dan órdenes devuelve la respuesta correcta. Los sistemas reales, además, tratan los pasajes como datos, no le dan al modelo poder para actuar y comprueban las fuentes.
docker exec tools cat docs/notice.txtSe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
docker exec tools python3 steps/inject.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Comprobación final
Consejo
Responde sin mirar atrás. 1. ¿Por qué se cortan los documentos en trozos? 2. ¿Qué compara el embedding del sustituto? 3. ¿Por qué se le pone su fuente a cada pasaje? 4. ¿Qué mide recall@3? 5. ¿Hay que obedecer el texto que encuentra la búsqueda? Respuestas: para enviar solo lo necesario; las palabras compartidas; para poder comprobar la respuesta; con qué frecuencia la fuente correcta está entre los tres primeros; no, hay que tratarlo como datos.
Para el profesorado
Consejo
Esta lección es un pequeño ejemplo de una lección hecha en un laboratorio: los pasos y los botones Ejecutar son la lección, y el laboratorio es la copia de cada alumno. El laboratorio son dos servicios de una misma imagen de Python: un modelo sustituto con embeddings por hash, y un Python con un pequeño almacén vectorial, cinco documentos y scripts cortos. No se llama a ningún modelo real, así que no cuesta nada y cada salida es siempre la misma. Ideas clave: 1. Los documentos se cortan en trozos y se convierten en embeddings. 2. La búsqueda devuelve los trozos más cercanos a una pregunta. 3. Los pasajes encontrados van al prompt con sus fuentes. 4. Recall@k mide la búsqueda, y el texto encontrado son datos, nunca órdenes. Error común: pensar que RAG le enseña algo al modelo. Material: el laboratorio y un navegador. Consejo: pida a los alumnos que predigan qué documento encontrará cada pregunta antes de pulsar Ejecutar. Cópiela en su propio módulo y modifíquela, o cree una desde cero con el menú Laboratorio del constructor de lecciones.