Plus facile à lire avec un fond crème, une teinte, plus de contraste ou un texte plus grand ? Choisissez vos couleurs et votre texte, une fois pour toutes les pages.

Leçon gratuite

Les bases du RAG

La leçon entière est gratuite et interactive. Lisez-la ici, ou appuyez sur Démarrer le labo pour la pratiquer pour de vrai dans un labo en direct, sans compte.

Labo de conteneurs12 min de lecture8 commandes

Comment un chatbot connaît-il le règlement de ton lycée ?

Un établissement installe un chatbot d'aide sur son site. Un modèle de langage n'a jamais lu le règlement intérieur, il ne peut donc pas connaître les règles du CDI. Le programme commence par trouver les bons paragraphes, puis il les envoie avec la question. C'est la génération augmentée par récupération, ou RAG. Le modèle d'ici est un modèle de substitution qui donne toujours la même réponse, ce qui te permet de vérifier chaque résultat.

À la fin de cette leçon

Remarque

Je peux trouver les passages qui répondent à une question et les placer dans un prompt avec leurs sources.

Mots-clés

  • Morceau (chunk) : un court extrait d'un document plus long.
  • Plongement (embedding) : une liste de nombres qui représente un texte.
  • Base vectorielle : des morceaux rangés avec leurs plongements, pour pouvoir y chercher.
  • Similarité : à quel point deux plongements pointent dans la même direction, au plus 1.
  • Rappel à k (recall@k) : la part des questions dont la bonne source figure dans les k premiers résultats.

Pour commencer : ce que tu sais déjà

Remarque

Réponds dans ta tête. 1. Quelle partie d'une requête de discussion fixe les règles ? 2. Un modèle se souvient-il des requêtes précédentes ? 3. Que renvoie un moteur de recherche pour une requête ? Réponses : le message système ; non, seulement ce que chaque requête envoie ; une liste de pages classées.

Avant de commencer

Remarque

Appuie sur Démarrer le lab dans la barre en haut de la leçon et attends qu'il indique qu'il est en marche. Il y a deux conteneurs. model est le modèle de substitution, qui répond à http://model:4000/v1. tools contient le Python du lab, cinq courts documents dans docs/ et des scripts dans steps/, et docker exec tools lance une commande à l'intérieur. Les documents sont en anglais, comme les questions. Chaque bouton Exécuter ci-dessous tape sa commande dans le terminal de ton lab, l'une après l'autre, dans la même session. Pour les suivre ou taper les tiennes, appuie sur Ouvrir le terminal dans la barre.

On découpe les documents en morceaux

Un document entier est trop long pour être envoyé avec chaque question. On le découpe donc en morceaux de quelques mots, chacun empiétant sur le précédent. La page de la bibliothèque compte 63 mots. Des morceaux de 40 mots, dont 10 en commun avec le précédent, en donnent 2. Des morceaux de 8 mots en donnent 8, et le fait « eight books » se retrouve séparé de « three weeks ».

Commande
docker exec tools python3 steps/chunk.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Un plongement transforme un texte en nombres

La première commande demande au modèle de substitution 8 nombres pour une question. Le script en demande 128 pour chaque texte, toujours de longueur 1.0. Deux textes qui partagent « borrow » et « books » obtiennent 0.866. « Laptop » face à « notebook computer » obtient 0.0. Le modèle de substitution hache des mots, pas du sens. Un vrai modèle de plongements place les textes selon leur sens : ces deux-là seraient proches.

Commande
curl -s -w "\n" http://model:4000/v1/embeddings -H "Content-Type: application/json" -d '{"model":"lab","input":"How many books can I borrow?","dimensions":8}'

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Commande
docker exec tools python3 steps/embed.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Vérifie

Astuce

Deux textes veulent dire la même chose mais n'ont aucun mot en commun. Quel score leur donne le modèle de substitution, et que ferait un vrai modèle de plongements ? Réponse : 0.0, parce qu'il ne compte que les mots partagés. Un vrai modèle leur donnerait un score élevé, parce qu'il compare le sens.

Une base vectorielle trouve les morceaux les plus proches

La base garde 8 morceaux tirés de 5 documents, chacun avec ses nombres. La question est elle aussi transformée en nombres, et chaque morceau reçoit un score de similarité. Les trois meilleurs reviennent avec leur source. « How many books can I borrow? » trouve d'abord library.txt, avec un score de 0.333. Un vrai système utilise une base de données vectorielle pour chercher parmi des millions de morceaux, vite.

Commande
docker exec tools python3 steps/search.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Les passages trouvés vont dans le prompt, avec leur source

Le script affiche le prompt : chaque passage commence par sa source entre crochets, puis vient la question. La réponse cite [library.txt], si bien qu'un lecteur peut vérifier. Sans aucune source, le modèle de substitution dit qu'il n'a pas de réponse. Avec des morceaux de 8 mots, le passage qui contient « three weeks » manque, et il n'a de nouveau pas de réponse.

Commande
docker exec tools python3 steps/answer.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Une erreur fréquente

Attention

Beaucoup pensent que le RAG apprend tes documents au modèle. Ce n'est pas le cas : le modèle n'apprend rien et ne garde rien. Il lit seulement les passages envoyés avec cette question-là. Si la recherche rate le bon passage, la réponse est fausse ou absente, aussi bon que soit le modèle.

Le rappel à k mesure la recherche

Huit questions de test ont chacune une bonne source connue. Le rappel à k est la part de celles dont la source se trouve dans les k premiers résultats. Avec des morceaux de 40 mots, le rappel à 1 vaut 0.75 et le rappel à 3 vaut 0.875. La question sur le « notebook » n'a aucun mot en commun avec it.txt, elle n'est donc jamais trouvée. Les petits morceaux obtiennent un meilleur score, mais l'étape précédente a montré qu'ils perdent le fait. Mesure aussi la réponse.

Commande
docker exec tools python3 steps/recall.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Un document peut cacher des consignes

Ne fais cet essai que sur des données qui t'appartiennent. notice.txt demande à l'assistant d'annoncer que les examens sont annulés. La recherche le trouve pour une question sur les examens, et le modèle de substitution obéit. Mettre de côté les passages qui donnent des ordres ramène la bonne réponse. Les vrais systèmes traitent aussi les passages comme des données, ne donnent au modèle aucun pouvoir d'agir et vérifient les sources.

Commande
docker exec tools cat docs/notice.txt

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Commande
docker exec tools python3 steps/inject.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Vérification finale

Astuce

Réponds sans revenir en arrière. 1. Pourquoi découper les documents en morceaux ? 2. Que compare le plongement du modèle de substitution ? 3. Pourquoi donner sa source à chaque passage ? 4. Que mesure le rappel à 3 ? 5. Peut-on obéir sans risque à un texte trouvé par la recherche ? Réponses : pour n'envoyer que ce qui est utile ; les mots partagés ; pour que la réponse puisse être vérifiée ; à quelle fréquence la bonne source figure dans les trois premiers résultats ; non, il faut le traiter comme une donnée.

Pour les enseignants

Astuce

Cette leçon est un petit exemple de leçon travaillée dans un lab : les étapes et les boutons Exécuter sont la leçon, et le lab est la copie de chaque élève. Le lab compte deux services sur une même image Python : un modèle de substitution avec des plongements hachés, et un Python avec une petite base vectorielle, cinq documents et de courts scripts. Aucun vrai modèle n'est appelé : cela ne coûte rien et chaque sortie est toujours la même. Points clés : 1. Les documents sont découpés en morceaux, puis transformés en plongements. 2. La recherche renvoie les morceaux les plus proches d'une question. 3. Les passages trouvés vont dans le prompt avec leurs sources. 4. Le rappel à k mesure la recherche, et un texte trouvé est une donnée, jamais un ordre. Erreur fréquente : croire que le RAG apprend quelque chose au modèle. Matériel : le lab et un navigateur. Conseil : demandez aux élèves de prévoir quel document chaque question va trouver avant d'appuyer sur Exécuter. Copiez-la dans votre propre module et modifiez-la, ou créez-en une de zéro avec le menu Lab du créateur de leçons.

À propos de ce labo et de sa source: Lab RAG : génération augmentée par récupération, avec une base vectorielle et un modèle de substitution

Vous enseignez à une classe ? Proposez ces leçons à vos élèves avec correction et un labo pour chaque élève.