Lab de service de chatbot : le programme entre une fenêtre de discussion et un modèle de langage

Ce lab donne à chaque élève un petit service de chat à lui : le programme placé entre une fenêtre de discussion et un modèle de langage, qui fait tout ce que le modèle ne fait pas. Il garde chaque conversation, la réduit à un budget de jetons, applique une invite système et une persona, vérifie les mots à l’entrée et à la sortie, envoie les réponses en flux, fait face à un modèle occupé ou en panne, limite chaque utilisateur et tient un journal sans aucune donnée personnelle. Il se teste avec des transcriptions fixes.

Le modèle est un modèle de substitution, et le lab le dit partout : il répond dans le même format qu’une vraie API de modèle, mais il choisit chaque réponse selon des règles fixes, si bien que la même question obtient toujours la même réponse. C’est ce qui permet à une transcription de servir de test. Rien n’est téléchargé, aucun service d’IA n’est appelé et rien n’est payant. Chaque copie n’a aucun accès à internet ni à aucun autre élève.

Ce que les élèves apprennent

Ce qu’un service de chat ajoute autour d’un modèle. Ils voient un prénom retenu dans une session et inconnu dans une autre, parce que c’est le service, et non le modèle, qui garde chaque conversation. Ils regardent un budget de contexte décider de ce qui est envoyé : 85 jetons d’historique gardent le prénom, 37 le perdent. Ils voient une persona refuser une question, un message grossier jamais envoyé, et une adresse e-mail et un numéro de téléphone retirés d’une réponse. Ils reçoivent une réponse en flux, une phrase vérifiée à la fois, voient un modèle occupé répondre au troisième essai et un modèle en panne donner à l’utilisateur des excuses avec le statut 503, et lancent 9 vérifications sur des transcriptions fixes. Il convient à un cours de développement logiciel ou d’IA appliquée ; vérifiez la formulation exacte dans le programme de votre propre établissement, aucun n’est cité ici.

Le lancer dans votre navigateur

Le lab démarre deux services. model est le modèle de substitution, qui répond à l’intérieur du lab. chat est le service de chat, un fichier Python écrit avec la seule bibliothèque standard, qui répond à l’adresse http://chat:8000/chat, avec ses réglages en haut de /tmp/chatbot.py. Le terminal à côté du lab a curl mais pas Python : il appelle donc le service directement et lance les scripts du service avec docker exec chat.

  1. Ouvrir la page Conteneur. Ouvrez « Créer » dans la barre et choisissez « Lancer un conteneur ». Tout le monde peut ouvrir la page, et le lab Git et le lab SQL se lancent sans compte. Tous les autres labs demandent un compte gratuit : créez-en un, connectez-vous, puis appuyez sur « Démarrer ».
  2. Trouver le lab. La carte « Laboratoires d’exemple » liste tous les exemples. Trouvez Chatbot service: sessions, moderation and limits.
  3. Appuyer sur Démarrer. « Démarrer » le lance tel quel, en un clic. « Modifier le fichier d’abord » ouvre le fichier compose pour que vous puissiez le changer avant de démarrer.
  4. L’ouvrir. Sur la page du lab, appuyez sur « Ouvrir le terminal » et envoyez un message avec curl, comme le montre la leçon, à l’adresse http://chat:8000/chat. Tapez ensuite docker exec chat python3 test_transcripts.py pour lancer les tests.

Ce qu’il faut demander aux élèves de rendre

Une modification de chatbot.py, par exemple un mot refusé, une nouvelle persona, un autre budget ou une limite plus stricte, avec une transcription dans test_transcripts.py qui prouve que la modification marche. Avec elle, la sortie des tests et une phrase sur ce qu’un vrai modèle ferait autrement. Après une modification, docker restart chat relance le service et garde le fichier modifié.

Une leçon de base sur ce lab

Chatbot Service Basics est une petite leçon qui se fait dans ce lab. L’élève y garde une conversation dans une session, voit le budget de contexte à l’œuvre, essaie une persona, vérifie les mots à l’entrée et à la sortie, reçoit une réponse en flux, relance un modèle occupé et lance les tests.

Les comptes personnels gratuits l’ont dans le module Basics, sur l’accueil, et chaque établissement peut la copier depuis le dossier Basics de la bibliothèque. Elle est volontairement courte : elle montre à un enseignant ce qu’est une leçon travaillée dans un lab, et le lab fait le reste. Copiez-la dans un module à vous pour la modifier.

Le code sur GitHub

Le fichier compose n’a pas de Dockerfile : il lance deux fois une seule image publique standard, Python 3.12 sur Alpine, figée à une version exacte, chaque fois sous un compte non privilégié avec 64 Mo de mémoire. L’image est sous licence PSF et ce n’est pas nous qui la distribuons. Au démarrage, le fichier écrit le modèle de substitution, le service de chat et ses tests à partir d’un texte fixe, avec la seule bibliothèque standard de Python : rien n’est donc téléchargé. Rien n’est gardé quand le lab s’arrête, alors l’élève copie d’abord son travail ailleurs.

Le proposer comme travail

Indiquez dans la tâche ce qu’il faut rendre.

  1. Créer le lab. Dans votre module, ajoutez une tâche et choisissez la carte « Lab de conteneurs », puis « Dans un dépôt GitHub ». Indiquez https://github.com/mitsurutech/lab-chatbot-lab avec la branche main. Le fichier compose par défaut est compose.yaml. Faites d’abord un fork du dépôt si vous voulez le modifier, par exemple pour donner au service de chat une autre persona ou une limite plus stricte.
  2. Publier et l’essayer. « Publier » fige le commit qui vous a été montré : un changement ultérieur dans le dépôt ne modifie donc pas un lab que vous avez déjà proposé. Démarrez d’abord votre propre copie.
  3. Le distribuer. Attribuez-le comme n’importe quelle tâche, avec une échéance si vous le souhaitez, et indiquez dans la tâche ce qu’il faut faire et ce qu’il faut rendre.
  4. Noter ce qui est rendu. Ouvrez la copie d’un élève et le travail rendu, notez-le et renvoyez-le avec un motif s’il demande un complément.

Essayer ce lab, et ce qu’il coûte

Un compte personnel gratuit permet de suivre les leçons de base de ce lab, avec chaque mois assez de crédit gratuit pour suivre la plupart des leçons, sans carte. Pour une classe, un établissement a ses 365 premiers jours gratuits pour 50 élèves au plus, puis paie par élève et par an, tous les labs compris et les enseignants gratuits.

Questions fréquentes

Y a-t-il un vrai modèle d’IA dans ce lab ?
Non. Le modèle est un modèle de substitution écrit pour le lab, un court programme Python qui choisit chaque réponse selon des règles fixes. Il répond dans le même format qu’une vraie API de modèle : le service de chat marcherait donc avec un vrai modèle en changeant une seule adresse, mais ses mots ne sont pas générés. Il donne toujours la même réponse à la même question, et c’est ce qui permet à une transcription fixe de servir de test.
Quelle différence avec le lab LLM workbench ?
Le LLM workbench, c’est l’API du modèle elle-même : requêtes, rôles, jetons et flux. Ce lab, c’est le service qu’un vrai chatbot place devant cette API : sessions, budgets, personas, modération, nouvelles tentatives, limites, journaux et tests. L’un ou l’autre peut venir en premier.
Est-ce payant, ou est-ce que cela consomme des crédits d’IA ?
Aucune IA n’est utilisée, donc rien n’est facturé pour cela. Le lab tourne comme n’importe quel autre lab de conteneurs.
Que garde le journal du chat ?
Une ligne par échange dans /tmp/chat.log, à l’intérieur du service de chat : l’heure, l’utilisateur et la session sous forme de courtes empreintes, le nombre de jetons, le nombre d’essais et si quelque chose a été refusé ou retiré. Jamais les mots : aucun prénom ni aucun message ne peut donc fuiter par là. Les tests le vérifient.
Mes élèves peuvent-ils lui envoyer quelque chose de personnel ?
Cela ne va nulle part : le modèle de substitution tourne dans la copie de l’élève, qui n’a aucun accès à internet. C’est quand même une bonne habitude à enseigner : un vrai service de modèle reçoit tout ce qui est tapé, donc rien de personnel ni de secret n’a sa place dans un message.