Plus facile à lire avec un fond crème, une teinte, plus de contraste ou un texte plus grand ? Choisissez vos couleurs et votre texte, une fois pour toutes les pages.

Leçon gratuite

Les bases d’un service de chatbot

La leçon entière est gratuite et interactive. Lisez-la ici, ou appuyez sur Démarrer le labo pour la pratiquer pour de vrai dans un labo en direct, sans compte.

Labo de conteneurs14 min de lecture11 commandes

Qui se souvient de la conversation ?

Le CDI de ton lycée a une fenêtre de discussion sur son site. Tu donnes ton prénom, puis tu poses une question, et il te reconnaît encore. Pourtant, le modèle de langage derrière ne se souvient de rien. C'est un petit programme placé au milieu qui le fait : il garde la conversation et protège les personnes qui l'utilisent. Dans ce lab, tu testes ce programme face à un modèle de substitution, qui donne toujours la même réponse.

À la fin de cette leçon

Remarque

Je peux expliquer ce qu'un service de chat ajoute autour d'un modèle de langage.

Mots-clés

  • Session : une conversation, rangée sous son propre nom.
  • Budget de contexte : le nombre de jetons d'historique envoyés à chaque fois.
  • Invite système (system prompt) : les règles que le service envoie en premier et que l'utilisateur ne peut pas changer.
  • Persona : le nom et la manière d'être donnés à l'assistant.
  • Modération : vérifier les mots avant de les envoyer ou de les afficher.
  • Limite de débit : le nombre de messages qu'un utilisateur peut envoyer en une minute.

Pour commencer : ce que tu sais déjà

Remarque

Réponds dans ta tête. 1. Quel rôle de message fixe les règles ? 2. Un modèle se souvient-il de la requête précédente ? 3. Que doit faire un programme quand un modèle répond qu'il est occupé ? Réponses : system ; non, il ne connaît que ce que chaque requête lui envoie ; attendre, puis réessayer.

Avant de commencer

Remarque

Appuie sur Démarrer le lab dans la barre en haut de la leçon et attends qu'il indique qu'il est en marche. Il y a deux conteneurs. model est le modèle de substitution. chat est le service de chat, à l'adresse http://chat:8000/chat, que le curl du terminal atteint. docker exec chat lance une commande à l'intérieur. Chaque bouton Exécuter ci-dessous tape sa commande dans le terminal de ton lab, l'une après l'autre, dans la même session. Pour les suivre ou taper les tiennes, appuie sur Ouvrir le terminal dans la barre.

Une session garde la conversation

Chaque message indique un utilisateur et une session. Dans la session s1, tu écris « My name is Ana. », puis tu demandes ton prénom : la réponse est « Your name is Ana. ». Le service a renvoyé les messages précédents avec la question. Dans la session s2, la même question obtient « I do not know your name. ». Les sessions ne se mélangent jamais : la conversation d'une personne n'arrive jamais chez une autre. Le service répond en anglais, comme le modèle.

Commande
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u1","session":"s1","message":"My name is Ana."}'

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Commande
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u1","session":"s1","message":"What is my name?"}'

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Commande
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u2","session":"s2","message":"What is my name?"}'

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

L’historique a un budget, et l’invite système passe en premier

Chaque jeton envoyé coûte de l'argent et du temps : le service n'envoie donc que l'historique le plus récent qui tient dans le budget. Le script pose deux fois quatre questions. Avec un budget de 120 jetons, il en envoie 85 et connaît toujours Ana. Avec 40, il en envoie 37 : le message qui contient le prénom reste de côté et la réponse est « I do not know your name. ». L'invite système et la persona passent toujours en premier : la persona books refuse de faire un calcul.

Commande
docker exec chat python3 trim_demo.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Commande
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u3","session":"s3","persona":"books","message":"What is 6 times 7?"}'

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Vérifie

Astuce

Au bout d'une longue discussion, le chatbot oublie soudain le prénom de l'utilisateur. Que s'est-il passé ? Réponse : le message avec le prénom ne tenait plus dans le budget de contexte, il n'a donc pas été envoyé. Augmente le budget, ou garde un court résumé de ce qui compte.

Les mots sont vérifiés à l’entrée et à la sortie

« You are useless. » n'est jamais envoyé au modèle : moderated vaut input et tries vaut 0. La réponse du modèle sur la bibliothécaire contenait une adresse e-mail et un numéro de téléphone, et les deux sont devenus [removed]. Un flux arrive en morceaux : le service attend donc chaque phrase entière, la vérifie, puis l'envoie. Tu vois quatre phrases, puis [DONE].

Commande
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u4","session":"s4","message":"You are useless."}'

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Commande
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u4","session":"s4","message":"How do I contact the librarian?"}'

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Commande
curl -s -N http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u4","session":"s5","stream":true,"message":"What are the library rules?"}'

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Un modèle occupé est relancé, et des transcriptions fixes servent de tests

Le modèle de substitution refuse deux fois un message qui contient #busy. Le service attend une demi-seconde, puis une seconde, et répond au troisième essai. #broken échoue toujours : après trois essais, l'utilisateur reçoit des excuses et le statut 503, jamais un message d'erreur. Chaque utilisateur peut envoyer 10 messages par minute. Le journal garde des nombres et des identifiants hachés, jamais les mots. Les tests rejouent des conversations fixes : 9 vérifications, 0 échec.

Commande
curl -s -w "\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u5","session":"s6","message":"What are the library hours? #busy"}'

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Commande
curl -s -w "\n%{http_code}\n" http://chat:8000/chat -H "Content-Type: application/json" -d '{"user":"u5","session":"s7","message":"What are the library hours? #broken"}'

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Commande
docker exec chat python3 test_transcripts.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Une erreur fréquente

Attention

Beaucoup pensent qu'une invite système suffit à rendre un chatbot sûr. C'est faux : un modèle peut quand même dire ce qu'il ne devrait pas. Vérifie ce qui entre et ce qui sort dans le service, là où les règles s'appliquent à chaque fois.

Vérification finale

Astuce

Réponds sans revenir en arrière. 1. Qui garde la conversation, le modèle ou le service ? 2. Pourquoi limiter l'historique à un budget ? 3. Pourquoi vérifier une réponse avant de l'afficher ? 4. Que peut garder le journal d'un chat ? Réponses : le service ; les jetons coûtent de l'argent et du temps ; un modèle peut dire ce qu'il ne devrait pas ; des nombres et des identifiants hachés, jamais les mots.

Pour les enseignants

Astuce

Cette leçon est un petit exemple de leçon travaillée dans un lab : les étapes et les boutons Exécuter sont la leçon, et le lab est la copie de chaque élève. Le lab est formé de deux services issus d'une même image Python : un modèle de substitution qui répond selon des règles fixes, et un service de chat écrit avec la seule bibliothèque standard de Python. Aucun vrai modèle n'est appelé : cela ne coûte rien et chaque sortie est toujours la même. Points clés : 1. C'est le service qui garde chaque conversation, pas le modèle. 2. L'historique est réduit à un budget de jetons. 3. Les mots sont vérifiés à l'entrée et à la sortie. 4. Un modèle occupé est relancé, et un modèle en panne vaut des excuses à l'utilisateur. Erreur fréquente : se fier à la seule invite système. Matériel : le lab et un navigateur. Conseil : demandez aux élèves d'ajouter un mot refusé dans chatbot.py et une transcription qui le prouve, pour qu'ils modifient le service et le testent. Copiez-la dans votre propre module et modifiez-la, ou créez-en une de zéro avec le menu Lab du créateur de leçons.

À propos de ce labo et de sa source: Lab de service de chatbot : le programme entre une fenêtre de discussion et un modèle de langage

Vous enseignez à une classe ? Proposez ces leçons à vos élèves avec correction et un labo pour chaque élève.