Laboratorio de RAG: generación aumentada por recuperación con un almacén vectorial y un modelo sustituto
Este laboratorio da a cada alumno su propia generación aumentada por recuperación (RAG) para construirla y ponerla a prueba: cómo un programa encuentra los pasajes que responden a una pregunta y se los envía a un modelo de lenguaje junto con sus fuentes. Cortan documentos en trozos, convierten los trozos en embeddings, los guardan en un pequeño almacén vectorial, buscan en él, meten lo que encuentran en el prompt, miden la búsqueda con recall@k y ven qué sale mal.
El modelo es un sustituto, y el laboratorio lo dice en todas partes: responde en el mismo formato que la API de un modelo real, pero elige cada respuesta con reglas fijas, así que la misma pregunta recibe siempre la misma respuesta. Sus embeddings también son un sustituto, una bolsa de palabras con hash, así que dos textos solo quedan cerca si comparten palabras; un modelo de embeddings real coloca los textos según su significado. No se descarga nada, no se llama a ningún servicio de IA y no cuesta nada. Ninguna copia tiene salida a internet ni acceso a la de otro alumno.
Qué aprenden los alumnos
Cómo responde un chatbot con documentos con los que nunca se ha entrenado. Cortan una página en trozos de dos tamaños y ven cómo un trozo pequeño parte un dato en dos. Comparan embeddings: 0.866 para dos textos que comparten palabras y 0.0 para "laptop" y "notebook computer", que un modelo de embeddings real pondría cerca. Buscan entre 8 trozos de 5 documentos, meten los más cercanos en un prompt con cada fuente entre corchetes y obtienen una respuesta que la cita, o ninguna cuando falta el pasaje. Miden recall@1 en 0.75 y recall@3 en 0.875 con ocho preguntas de prueba.
Un documento esconde una instrucción, y el sustituto la obedece: eso es una inyección de prompt. Apartar los pasajes que dan órdenes devuelve la respuesta correcta, y la lección explica lo que añaden los sistemas reales: tratar el texto encontrado como datos, no darle al modelo poder para actuar y comprobar las fuentes. Se plantea como una defensa, en la copia del propio alumno. Encaja en un curso de desarrollo de software o de IA aplicada; consulta en la unidad de tu propio organismo certificador la redacción exacta, aquí no se cita ninguna.
Ejecútalo en el navegador
El laboratorio inicia dos servicios. model es el sustituto, que responde en http://model:4000/v1 dentro del laboratorio y tiene su propio endpoint de embeddings. tools es un Python con rag.py (el troceado, el almacén vectorial, la búsqueda y el prompt, escritos con la biblioteca estándar de Python), cinco documentos cortos en docs/ y scripts en steps/. La terminal de al lado tiene curl y no tiene Python, así que llega a los scripts con docker exec tools.
- Abre la página Contenedor. Abre «Crear» en la barra y elige «Ejecutar un contenedor». Cualquiera puede abrir la página, y el laboratorio de Git y el de SQL se inician sin cuenta. Todos los demás laboratorios necesitan una cuenta gratuita: crea una, inicia sesión y pulsa «Iniciar».
- Busca el laboratorio. La tarjeta «Laboratorios de ejemplo» lista todos los ejemplos. Busca RAG: busca en tus documentos y luego responde.
- Pulsa «Iniciar». «Iniciar» lo ejecuta tal cual, con una sola pulsación. «Editar el archivo primero» abre el archivo compose para que lo cambies antes de iniciarlo.
- Ábrelo. En la página del laboratorio, pulsa «Abrir el terminal» y escribe docker exec tools python3 steps/search.py para ver los trozos más cercanos a dos preguntas, con su puntuación y su fuente.
Qué pedir a los alumnos que entreguen
Un documento corto escrito por ellos y añadido a docs/, dos preguntas de prueba sobre él añadidas a steps/recall.py, el recall que imprimió, y una frase sobre lo que cambiaría un modelo de embeddings real. Nada se califica solo: la frase muestra si lo entendieron.
Una lección básica en este laboratorio
RAG Basics (Fundamentos de RAG) es una lección pequeña que se hace en este laboratorio. En ella el alumno corta un documento en trozos, compara embeddings, busca en el almacén vectorial, mete lo que encuentra en el prompt con su fuente, mide el recall@k y frena una instrucción escondida.
Las cuentas personales gratuitas la tienen en el módulo Basics, que está en Inicio, y cualquier centro puede copiarla desde la carpeta Basics de la Biblioteca. Es pequeña a propósito: enseña a un docente qué es una lección hecha en un laboratorio, y el laboratorio hace el resto. Cópiala en un módulo tuyo para cambiarla.
El código en GitHub
El archivo compose no tiene Dockerfile: ejecuta dos veces una sola imagen pública sin cambios, Python 3.12 sobre Alpine, fijada a una etiqueta exacta, cada vez con una cuenta sin privilegios y 64 MB de memoria. La imagen tiene la licencia PSF y no la distribuimos nosotros. Al arrancar, el archivo escribe el sustituto, rag.py, los documentos y los scripts a partir de un texto fijo, así que no se descarga nada. El almacén vectorial es una lista de Python, no una base de datos vectorial: ocho trozos no necesitan índice. Nada se guarda al detener el laboratorio, así que el alumno copia antes su trabajo.
Ponlo como trabajo
Indica en la tarea qué hay que entregar.
- Crea el laboratorio. En tu módulo añade una tarea y elige la tarjeta «Laboratorio de contenedores», y después «En un repositorio de GitHub». Indica https://github.com/mitsurutech/lab-rag-lab con la rama main. El archivo compose es el predeterminado, compose.yaml. Haz un fork del repositorio antes si quieres modificarlo, por ejemplo para poner documentos tuyos en docs/.
- Publica y pruébalo. «Publicar» fija el commit que te mostraron, así que un cambio posterior en el repositorio no altera un laboratorio que ya has asignado. Inicia primero tu propia copia.
- Asígnalo. Asígnalo como cualquier tarea, con una fecha de entrega si quieres, e indica en la tarea qué hacer y qué entregar.
- Califica lo entregado. Abre la copia de un alumno y el trabajo que ha entregado, califícalo y devuélvelo con un motivo si necesita más.
Prueba este laboratorio, y lo que cuesta
Con una cuenta personal gratuita puedes seguir las lecciones básicas de este laboratorio, con crédito gratuito suficiente cada mes para seguir la mayoría de las lecciones y sin tarjeta. Para una clase, un centro tiene gratis sus primeros 365 días, hasta 50 alumnos, y después paga por alumno y año, con todos los laboratorios incluidos y el profesorado gratis.
Preguntas frecuentes
- ¿Son reales los embeddings?
- No. El sustituto aplica un hash a cada palabra para darle un sitio en una lista de números, así que dos textos solo quedan cerca si comparten palabras. Un modelo de embeddings real está entrenado para colocar los textos según su significado, así que "laptop" y "notebook computer" quedarían cerca y se encontraría la pregunta del notebook. El troceado, el almacén, el prompt y el recall@k funcionan igual con uno que con otro.
- ¿Hay un modelo de IA real en este laboratorio?
- No. El modelo es un sustituto escrito para el laboratorio, un programa corto en Python que elige cada respuesta con reglas fijas. Solo responde cuando el pasaje que contiene el dato está en el prompt, y así muestra lo que pasa cuando falta contexto. A la misma pregunta da siempre la misma respuesta.
- ¿Por qué el laboratorio trae un documento con una instrucción escondida?
- Para enseñar la defensa. El texto que encuentra la búsqueda lo ha escrito otra persona, y un modelo puede seguir las instrucciones que lleve dentro. Los alumnos lo ven pasar en su propia copia y después lo frenan. La lección les pide que lo prueben solo con datos que sean suyos.
- ¿Cuesta algo o gasta créditos de IA?
- No se usa ninguna IA, así que no se cobra nada por ella. El laboratorio funciona como cualquier otro laboratorio de contenedores.
- ¿Por qué una lista de Python y no una base de datos vectorial?
- Ocho trozos se recorren en un momento comparándolos uno a uno. Una base de datos vectorial añade un índice para buscar entre millones con rapidez, algo que importa en un sistema real y que aquí taparía la idea.