Lab RAG : génération augmentée par récupération, avec une base vectorielle et un modèle de substitution

Ce lab donne à chaque élève une génération augmentée par récupération (RAG) à construire et à tester lui-même : comment un programme trouve les passages qui répondent à une question et les envoie à un modèle de langage avec leurs sources. L’élève découpe des documents en morceaux, transforme ces morceaux en plongements, les range dans une petite base vectorielle, y cherche, place ce qu’il trouve dans le prompt, mesure la recherche avec le rappel à k et regarde ce qui tourne mal.

Le modèle est un modèle de substitution, et le lab le dit partout : il répond dans le même format que l’API d’un vrai modèle, mais il choisit chaque réponse selon des règles fixes, si bien que la même question reçoit toujours la même réponse. Ses plongements sont eux aussi un substitut, un sac de mots haché : deux textes ne sont proches que s’ils partagent des mots, alors qu’un vrai modèle de plongements rapproche les textes par leur sens. Rien n’est téléchargé, aucun service d’IA n’est appelé et rien ne coûte d’argent. Chaque copie n’a aucun accès à internet ni à aucun autre élève.

Ce que les élèves apprennent

Comment un chatbot répond à partir de documents sur lesquels il n’a jamais été entraîné. Les élèves découpent une page en morceaux de deux tailles et voient un petit morceau couper un fait en deux. Ils comparent des plongements : 0.866 pour deux textes qui partagent des mots, 0.0 pour « laptop » et « notebook computer », qu’un vrai modèle de plongements placerait tout près. Ils cherchent parmi 8 morceaux tirés de 5 documents, placent les plus proches dans un prompt avec chaque source entre crochets, et obtiennent une réponse qui la cite, ou aucune quand le passage manque. Ils mesurent un rappel à 1 de 0.75 et un rappel à 3 de 0.875 sur huit questions de test.

Un document cache une consigne, et le modèle de substitution lui obéit : c’est ce qu’on appelle une injection de prompt. Mettre de côté les passages qui donnent des ordres ramène la bonne réponse, et la leçon dit ce qu’ajoutent les vrais systèmes : traiter le texte trouvé comme une donnée, ne donner au modèle aucun pouvoir d’agir et vérifier les sources. C’est présenté comme une défense, sur la propre copie de l’élève. Le lab convient à un cours de développement logiciel ou d’IA appliquée ; vérifiez le programme de votre propre formation pour la formulation exacte, aucun n’est cité ici. Les documents et les questions du lab sont en anglais.

Le lancer dans votre navigateur

Le lab démarre deux services. model est le modèle de substitution, qui répond à http://model:4000/v1 à l’intérieur du lab, avec son propre point d’accès pour les plongements. tools est un Python avec rag.py (le découpage, la base vectorielle, la recherche et le prompt, écrits avec la seule bibliothèque standard de Python), cinq courts documents dans docs/ et des scripts dans steps/. Le terminal à côté du lab a curl et pas de Python : il atteint donc les scripts avec docker exec tools.

  1. Ouvrir la page Conteneur. Ouvrez « Créer » dans la barre et choisissez « Lancer un conteneur ». Tout le monde peut ouvrir la page, et le lab Git et le lab SQL se lancent sans compte. Tous les autres labs demandent un compte gratuit : créez-en un, connectez-vous, puis appuyez sur « Démarrer ».
  2. Trouver le lab. La carte « Laboratoires d’exemple » liste tous les exemples. Trouvez RAG : chercher dans vos documents, puis répondre.
  3. Appuyer sur Démarrer. « Démarrer » le lance tel quel, en un clic. « Modifier le fichier d’abord » ouvre le fichier compose pour que vous puissiez le changer avant de démarrer.
  4. L’ouvrir. Sur la page du lab, appuyez sur « Ouvrir le terminal » et tapez docker exec tools python3 steps/search.py pour voir les morceaux les plus proches de deux questions, avec leurs scores et leurs sources.

Ce qu’il faut demander aux élèves de rendre

Un court document de leur cru ajouté à docs/, deux questions de test sur ce document ajoutées à steps/recall.py, le rappel affiché, et une phrase sur ce que changerait un vrai modèle de plongements. Rien n’est noté automatiquement : la phrase montre si l’idée a été comprise.

Une leçon de base sur ce lab

RAG Basics (Les bases du RAG) est une petite leçon travaillée dans ce lab. L’élève y découpe un document, compare des plongements, cherche dans la base vectorielle, place ce qu’il trouve dans le prompt avec sa source, mesure le rappel à k et neutralise une consigne cachée.

Les comptes personnels gratuits l’ont dans le module Basics, sur la page d’accueil, et chaque établissement peut la copier depuis le dossier Basics de la bibliothèque. Elle est volontairement courte : elle montre à un enseignant ce qu’est une leçon travaillée dans un lab, et le lab fait le reste. Copiez-la dans un module à vous pour la modifier.

Le code sur GitHub

Le fichier compose n’a pas de Dockerfile : il lance une seule image publique standard, Python 3.12 sur Alpine, figée sur une version exacte, deux fois, chacune sous un compte non privilégié avec 64 Mo de mémoire. L’image est sous licence PSF et nous ne la distribuons pas. Au démarrage, le fichier écrit le modèle de substitution, rag.py, les documents et les scripts à partir d’un texte fixe : rien n’est téléchargé. La base vectorielle est une liste Python, pas une base de données vectorielle : huit morceaux n’ont pas besoin d’index. Rien n’est gardé quand le lab s’arrête : l’élève copie donc son travail avant.

Le donner comme travail

Indiquez dans la tâche ce qu’il faut rendre.

  1. Créer le lab. Dans votre module, ajoutez une tâche et choisissez la carte « Lab de conteneurs », puis « Dans un dépôt GitHub ». Indiquez https://github.com/mitsurutech/lab-rag-lab avec la branche main. Le fichier compose par défaut est compose.yaml. Faites d’abord un fork du dépôt si vous voulez le modifier, par exemple pour mettre vos propres documents dans docs/.
  2. Publier et l’essayer. « Publier » fige le commit qui vous a été montré : un changement ultérieur dans le dépôt ne modifie donc pas un lab que vous avez déjà proposé. Démarrez d’abord votre propre copie.
  3. Le distribuer. Attribuez-le comme n’importe quelle tâche, avec une échéance si vous le souhaitez, et indiquez dans la tâche ce qu’il faut faire et ce qu’il faut rendre.
  4. Noter ce qui est rendu. Ouvrez la copie d’un élève et le travail rendu, notez-le et renvoyez-le avec un motif s’il demande un complément.

Essayer ce lab, et ce qu’il coûte

Un compte personnel gratuit permet de suivre les leçons de base de ce lab, avec chaque mois assez de crédit gratuit pour suivre la plupart des leçons, sans carte. Pour une classe, un établissement a ses 365 premiers jours gratuits pour 50 élèves au plus, puis paie par élève et par an, tous les labs compris et les enseignants gratuits.

Questions fréquentes

Les plongements sont-ils de vrais plongements ?
Non. Le modèle de substitution hache chaque mot vers une case d’une liste de nombres : deux textes ne sont donc proches que s’ils partagent des mots. Un vrai modèle de plongements est entraîné à placer les textes selon leur sens : « laptop » et « notebook computer » seraient proches, et la question sur le « notebook » serait trouvée. Le découpage, la base, le prompt et le rappel à k fonctionnent de la même façon avec l’un ou l’autre.
Y a-t-il un vrai modèle d’IA dans ce lab ?
Non. Le modèle est un substitut écrit pour le lab, un court programme Python qui choisit chaque réponse selon des règles fixes. Il ne répond que si le passage qui contient le fait se trouve dans le prompt, ce qui montre l’effet d’un contexte manquant. Il donne toujours la même réponse à la même question.
Pourquoi le lab contient-il un document avec une consigne cachée ?
Pour enseigner la défense. Un texte trouvé par la recherche a été écrit par quelqu’un d’autre, et un modèle peut suivre les consignes qu’il contient. Les élèves le voient se produire sur leur propre copie, puis l’empêchent. La leçon leur demande de ne faire cet essai que sur des données qui leur appartiennent.
Est-ce payant, ou est-ce que cela consomme des crédits d’IA ?
Aucune IA n’est utilisée, donc rien n’est facturé pour cela. Le lab fonctionne comme n’importe quel autre lab de conteneurs.
Pourquoi une liste Python et pas une base de données vectorielle ?
Huit morceaux se comparent un par un en un instant. Une base de données vectorielle ajoute un index pour chercher vite parmi des millions de morceaux, ce qui compte dans un vrai système mais cacherait l’idée ici.