Qui se souvient de la conversation ?
Le CDI de ton lycée a une fenêtre de discussion sur son site. Tu donnes ton prénom, puis tu poses une question, et il te reconnaît encore. Pourtant, le modèle de langage derrière ne se souvient de rien. C'est un petit programme placé au milieu qui le fait : il garde la conversation et protège les personnes qui l'utilisent. Dans ce lab, tu testes ce programme face à un modèle de substitution, qui donne toujours la même réponse.
À la fin de cette leçon
Remarque
Je peux expliquer ce qu'un service de chat ajoute autour d'un modèle de langage.
Mots-clés
- Session : une conversation, rangée sous son propre nom.
- Budget de contexte : le nombre de jetons d'historique envoyés à chaque fois.
- Invite système (system prompt) : les règles que le service envoie en premier et que l'utilisateur ne peut pas changer.
- Persona : le nom et la manière d'être donnés à l'assistant.
- Modération : vérifier les mots avant de les envoyer ou de les afficher.
- Limite de débit : le nombre de messages qu'un utilisateur peut envoyer en une minute.
Pour commencer : ce que tu sais déjà
Remarque
Réponds dans ta tête. 1. Quel rôle de message fixe les règles ? 2. Un modèle se souvient-il de la requête précédente ? 3. Que doit faire un programme quand un modèle répond qu'il est occupé ? Réponses : system ; non, il ne connaît que ce que chaque requête lui envoie ; attendre, puis réessayer.
Avant de commencer
Remarque
Appuie sur Démarrer le lab dans la barre en haut de la leçon et attends qu'il indique qu'il est en marche. Il y a deux conteneurs. model est le modèle de substitution. chat est le service de chat, à l'adresse http://chat:8000/chat, que le curl du terminal atteint. docker exec chat lance une commande à l'intérieur. Chaque bouton Exécuter ci-dessous tape sa commande dans le terminal de ton lab, l'une après l'autre, dans la même session. Pour les suivre ou taper les tiennes, appuie sur Ouvrir le terminal dans la barre.
Une session garde la conversation
Chaque message indique un utilisateur et une session. Dans la session s1, tu écris « My name is Ana. », puis tu demandes ton prénom : la réponse est « Your name is Ana. ». Le service a renvoyé les messages précédents avec la question. Dans la session s2, la même question obtient « I do not know your name. ». Les sessions ne se mélangent jamais : la conversation d'une personne n'arrive jamais chez une autre. Le service répond en anglais, comme le modèle.
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u1","session":"s1","message":"My name is Ana."}'Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u1","session":"s1","message":"What is my name?"}'Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u2","session":"s2","message":"What is my name?"}'Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
L’historique a un budget, et l’invite système passe en premier
Chaque jeton envoyé coûte de l'argent et du temps : le service n'envoie donc que l'historique le plus récent qui tient dans le budget. Le script pose deux fois quatre questions. Avec un budget de 120 jetons, il en envoie 85 et connaît toujours Ana. Avec 40, il en envoie 37 : le message qui contient le prénom reste de côté et la réponse est « I do not know your name. ». L'invite système et la persona passent toujours en premier : la persona books refuse de faire un calcul.
docker exec chat python3 trim_demo.pyAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u3","session":"s3","persona":"books","message":"What is 6 times 7?"}'Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Vérifie
Astuce
Au bout d'une longue discussion, le chatbot oublie soudain le prénom de l'utilisateur. Que s'est-il passé ? Réponse : le message avec le prénom ne tenait plus dans le budget de contexte, il n'a donc pas été envoyé. Augmente le budget, ou garde un court résumé de ce qui compte.
Les mots sont vérifiés à l’entrée et à la sortie
« You are useless. » n'est jamais envoyé au modèle : moderated vaut input et tries vaut 0. La réponse du modèle sur la bibliothécaire contenait une adresse e-mail et un numéro de téléphone, et les deux sont devenus [removed]. Un flux arrive en morceaux : le service attend donc chaque phrase entière, la vérifie, puis l'envoie. Tu vois quatre phrases, puis [DONE].
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u4","session":"s4","message":"You are useless."}'Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u4","session":"s4","message":"How do I contact the librarian?"}'Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
curl -s -N http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u4","session":"s5","stream":true,"message":"What are the library rules?"}'Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Un modèle occupé est relancé, et des transcriptions fixes servent de tests
Le modèle de substitution refuse deux fois un message qui contient #busy. Le service attend une demi-seconde, puis une seconde, et répond au troisième essai. #broken échoue toujours : après trois essais, l'utilisateur reçoit des excuses et le statut 503, jamais un message d'erreur. Chaque utilisateur peut envoyer 10 messages par minute. Le journal garde des nombres et des identifiants hachés, jamais les mots. Les tests rejouent des conversations fixes : 9 vérifications, 0 échec.
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u5","session":"s6","message":"What are the library hours? #busy"}'Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
curl -s -w "\n%{http_code}\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u5","session":"s7","message":"What are the library hours? #broken"}'Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
docker exec chat python3 test_transcripts.pyAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Une erreur fréquente
Attention
Beaucoup pensent qu'une invite système suffit à rendre un chatbot sûr. C'est faux : un modèle peut quand même dire ce qu'il ne devrait pas. Vérifie ce qui entre et ce qui sort dans le service, là où les règles s'appliquent à chaque fois.
Vérification finale
Astuce
Réponds sans revenir en arrière. 1. Qui garde la conversation, le modèle ou le service ? 2. Pourquoi limiter l'historique à un budget ? 3. Pourquoi vérifier une réponse avant de l'afficher ? 4. Que peut garder le journal d'un chat ? Réponses : le service ; les jetons coûtent de l'argent et du temps ; un modèle peut dire ce qu'il ne devrait pas ; des nombres et des identifiants hachés, jamais les mots.
Pour les enseignants
Astuce
Cette leçon est un petit exemple de leçon travaillée dans un lab : les étapes et les boutons Exécuter sont la leçon, et le lab est la copie de chaque élève. Le lab est formé de deux services issus d'une même image Python : un modèle de substitution qui répond selon des règles fixes, et un service de chat écrit avec la seule bibliothèque standard de Python. Aucun vrai modèle n'est appelé : cela ne coûte rien et chaque sortie est toujours la même. Points clés : 1. C'est le service qui garde chaque conversation, pas le modèle. 2. L'historique est réduit à un budget de jetons. 3. Les mots sont vérifiés à l'entrée et à la sortie. 4. Un modèle occupé est relancé, et un modèle en panne vaut des excuses à l'utilisateur. Erreur fréquente : se fier à la seule invite système. Matériel : le lab et un navigateur. Conseil : demandez aux élèves d'ajouter un mot refusé dans chatbot.py et une transcription qui le prouve, pour qu'ils modifient le service et le testent. Copiez-la dans votre propre module et modifiez-la, ou créez-en une de zéro avec le menu Lab du créateur de leçons.