Plus facile à lire avec un fond crème, une teinte, plus de contraste ou un texte plus grand ? Choisissez vos couleurs et votre texte, une fois pour toutes les pages.

Leçon gratuite

Les bases de l’API d’un modèle de langage

La leçon entière est gratuite et interactive. Lisez-la ici, ou appuyez sur Démarrer le labo pour la pratiquer pour de vrai dans un labo en direct, sans compte.

Labo de conteneurs12 min de lecture8 commandes

Qu’est-ce qu’une appli envoie à un chatbot ?

Une aide aux devoirs ou la fenêtre de discussion d'une boutique en ligne, c'est un programme. Il envoie tes mots à un modèle de langage et affiche ce qui revient. Dans ce lab, c'est toi qui écris le côté programme : la requête, la réponse et ce qui peut mal tourner. Le modèle d'ici est un modèle de substitution : il répond comme un vrai, mais donne toujours la même réponse, ce qui te permet de vérifier chaque résultat.

À la fin de cette leçon

Remarque

Je peux envoyer une requête à l'API d'un modèle de langage et lire chaque partie de sa réponse.

Mots-clés

  • API : un moyen pour un programme de demander quelque chose à un autre.
  • Message : un tour de parole dans une conversation, avec un rôle et un texte.
  • Rôle : de qui vient un message : system, user ou assistant.
  • Jeton (token) : un petit morceau de texte que le modèle lit ou écrit.
  • Flux (stream) : une réponse envoyée par morceaux, au fur et à mesure qu'elle est produite.

Pour commencer : ce que tu sais déjà

Remarque

Réponds dans ta tête. 1. Que veut dire un code HTTP 200 ? 2. En JSON, que contiennent les accolades {} ? 3. Si un site est surchargé, vaut-il mieux réessayer tout de suite ou après une pause ? Réponses : ça a marché ; des noms et leurs valeurs ; après une pause.

Avant de commencer

Remarque

Appuie sur Démarrer le lab dans la barre en haut de la leçon et attends qu'il indique qu'il est en marche. Il y a deux conteneurs. model est le modèle de substitution, qui répond à http://model:4000/v1, et le curl du terminal l'atteint directement. tools contient le Python du lab, et docker exec tools lance une commande à l'intérieur. Chaque bouton Exécuter ci-dessous tape sa commande dans le terminal de ton lab, l'une après l'autre, dans la même session. Pour les suivre ou taper les tiennes, appuie sur Ouvrir le terminal dans la barre.

Une requête est du JSON, la réponse aussi

La première commande demande quels modèles existent : un seul, appelé lab. La seconde envoie un message de l'utilisateur, en anglais. Dans la réponse, choices contient le texte, « The capital of France is Paris. », et finish_reason vaut stop : le modèle s'est arrêté de lui-même. usage compte 15 jetons en entrée et 10 en sortie.

Commande
curl -s -w "\n" http://model:4000/v1/models

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Commande
curl -s -w "\n" http://model:4000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"lab","messages":[{"role":"user","content":"What is the capital of France?"}]}'

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Le message système fixe les règles, et rien n’est retenu

La même question, trois fois. Un message system qui dit « Answer in capital letters. » donne la réponse en majuscules, et « Only answer questions about cooking. » donne un refus poli. Ensuite, l'utilisateur dit « My name is Sam. ». Le modèle ne connaît ce prénom que si les messages précédents sont renvoyés. Il ne garde rien d'une requête à l'autre : c'est ton programme qui s'en charge.

Commande
docker exec tools python3 steps/roles.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

On paie au jeton

Le modèle de substitution découpe « The lighthouse keeper counted ships. » en 11 jetons. Une histoire entière a pris 14 jetons en entrée et 66 en sortie. Avec max_tokens à 12, la réponse s'arrête au milieu d'un mot et finish_reason vaut length. À des prix inventés de 50 pence le million de jetons en entrée et 200 en sortie, une requête coûte 0,0139 pence, et 1 200 requêtes 16,68 pence.

Commande
docker exec tools python3 steps/tokens.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Vérifie

Astuce

Une réponse se termine avec finish_reason à length. Que s'est-il passé ? Réponse : elle a atteint max_tokens et a été coupée, elle est donc peut-être inachevée. Demande plus de jetons, ou pose une question plus courte.

Les réglages d’échantillonnage changent la façon dont un vrai modèle choisit

Un vrai modèle choisit chaque jeton suivant parmi les plus probables. Avec temperature proche de 0, il prend presque toujours le plus probable ; plus haut, il prend davantage de risques. seed permet de refaire le même choix. Le script envoie cinq réglages différents et reçoit une seule réponse : « the same every time: True ». Le modèle de substitution les ignore, ce que ne ferait pas un vrai modèle.

Commande
docker exec tools python3 steps/sampling.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Une sortie structurée, c’est du JSON que ton programme vérifie

Un texte libre est difficile à exploiter pour un programme. Ici, la requête propose un outil, record_person, avec un schéma, et oblige le modèle à l'appeler. La réponse est un tool_calls, dont les arguments arrivent sous forme de texte : {"name": "Aiko", "age": 17, "city": "Leeds"}. Le script les analyse, vérifie chaque type, puis utilise l'âge comme un nombre.

Commande
docker exec tools python3 steps/structured.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Un flux arrive par morceaux, et les erreurs demandent un plan

Avec "stream":true, la réponse arrive en 14 événements : un début vide, un par jeton, une fin, le décompte des jetons, puis [DONE]. Le script envoie ensuite #busy, que le modèle de substitution refuse avec un 429 deux fois sur trois. Il attend 1 seconde, puis 2, et le troisième essai marche. #broken échoue à chaque fois : le script finit donc par abandonner. Une erreur 400 n'est jamais retentée.

Commande
curl -sN http://model:4000/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"lab","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"What is the capital of France?"}]}'

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Commande
docker exec tools python3 steps/retry.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Une erreur fréquente

Attention

Beaucoup pensent que le modèle se souvient de la conversation. Ce n'est pas le cas : chaque requête est indépendante, et le modèle ne connaît que les messages qu'elle contient. Une appli de discussion renvoie toute la conversation à chaque fois, c'est pour cela qu'une longue discussion consomme plus de jetons et coûte plus cher.

Vérification finale

Astuce

Réponds sans revenir en arrière. 1. Quel rôle fixe les règles d'une conversation ? 2. Que veut dire finish_reason à length ? 3. Pourquoi faut-il analyser et vérifier une sortie structurée ? 4. Quelles erreurs vaut-il la peine de retenter ? Réponses : system ; la réponse a atteint max_tokens ; ce n'est que du texte tant que ton programme ne l'a pas vérifié ; celles qui disent que le service est occupé, comme 429, après une pause de plus en plus longue.

Pour les enseignants

Astuce

Cette leçon est un petit exemple de leçon travaillée dans un lab : les étapes et les boutons Exécuter sont la leçon, et le lab est la copie de chaque élève. Le lab compte deux services sur une même image Python : un modèle de substitution qui répond dans le format de l'API d'un vrai modèle selon des règles fixes, et un Python avec un client et de courts scripts. Aucun vrai modèle n'est appelé : cela ne coûte rien et chaque sortie est toujours la même. Points clés : 1. Une requête est une liste de messages, chacun avec un rôle. 2. Le modèle ne retient que ce que chaque requête envoie. 3. Les jetons limitent une réponse et fixent son coût. 4. Une sortie structurée doit être analysée et vérifiée. Erreur fréquente : croire que le modèle se souvient. Matériel : le lab et un navigateur. Conseil : demandez aux élèves de prévoir chaque sortie avant d'appuyer sur Exécuter, puis de dire ce qu'un vrai modèle ferait autrement. Copiez-la dans votre propre module et modifiez-la, ou créez-en une de zéro avec le menu Lab du créateur de leçons.

À propos de ce labo et de sa source: Lab d’API de LLM : une API de modèle de langage pour s’entraîner, avec un modèle de substitution

Vous enseignez à une classe ? Proposez ces leçons à vos élèves avec correction et un labo pour chaque élève.