Pourquoi un chatbot tape-t-il sa réponse ?
Quand tu poses une question à un chatbot, la réponse apparaît mot après mot. Ce n'est pas un effet de mise en scène : le modèle produit vraiment un jeton, puis le suivant. Ce lab te donne un tout petit modèle de langage pour le regarder faire, et pour l'accélérer comme le font les vrais serveurs. Il lit des caractères et il est bien trop petit pour être utile.
À la fin de cette leçon
Remarque
Je peux expliquer comment un modèle de langage écrit une réponse un jeton à la fois.
Mots-clés
- Inférence : faire tourner un modèle déjà entraîné pour obtenir une réponse.
- Jeton (token) : un morceau de texte que le modèle lit ou écrit. Ici, un caractère.
- Prefill : la première passe, qui lit toute l'invite.
- Décodage : chaque passe suivante, qui produit un nouveau jeton.
- Cache KV : les clés et les valeurs des jetons précédents, gardées pour ne pas les recalculer.
- Quantifier : ranger des nombres sur moins d'octets, avec une échelle pour les retrouver.
Pour commencer : ce que tu sais déjà
Remarque
Réponds dans ta tête. 1. Que fait une boucle ? 2. Si tu lis deux fois une longue page, est-ce que cela prend plus ou moins de temps que de la lire une fois ? 3. Qu'est-ce qui prend le moins de place, le nombre 0,3014 ou le nombre 30 ? Réponses : elle répète une étape ; plus ; 30.
Avant de commencer
Remarque
Appuie sur Démarrer le lab dans la barre en haut de la leçon et attends qu'il indique qu'il est en marche. Il y a un seul conteneur, jupyter, et le terminal atteint son Python avec docker exec jupyter, qui lance une commande à l'intérieur. Le lien JupyterLab ouvre sa page web, sur le port 8888. Chaque bouton Exécuter ci-dessous tape sa commande dans le terminal de ton lab, l'une après l'autre, dans la même session. Pour les suivre ou taper les tiennes, appuie sur Ouvrir le terminal dans la barre.
Le modèle a été entraîné au démarrage du lab
ls liste le dossier de travail : le modèle tiny.py, le fichier des poids model.npz, le notebook, le dossier steps et train.log. Ce journal est ce qu'a affiché l'entraînement. La perte, qui mesure à quel point le modèle est surpris par le caractère suivant, est passée de 2,944 à 0,317 en 2000 étapes, sur un texte de 242 caractères qui en compte 19 différents.
docker exec jupyter lsAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
docker exec jupyter cat train.logAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Une passe lit l’invite, puis une passe par jeton
Le script donne au modèle l'invite « the cat sat ». La première ligne dit qu'il a lu les 12 caractères en une seule passe : c'est le prefill. Ensuite, chaque ligne est une passe de décodage qui choisit un caractère, jusqu'à ce que le texte devienne « the cat sat on the mat ». Le modèle a appris sur un texte en anglais, d'où ses mots.
docker exec jupyter python3 steps/generate.pyAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Un cache KV évite de relire le texte
Le script écrit 32 caractères deux fois : une fois en relisant tout le texte à chaque passe, une fois avec un cache KV. Le texte est le même des deux façons. Sans le cache, le modèle a calculé 880 lignes de clés et de valeurs ; avec, 43. Le cache a fait 8,8 fois moins de travail.
docker exec jupyter python3 steps/cache.pyAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Vérifie
Astuce
Pourquoi le cache n'a-t-il pas changé le texte ? Réponse : il garde les mêmes clés et valeurs que le modèle recalculerait, donc chaque choix est le même. Il change le travail, pas la réponse.
Les lots partagent le travail entre utilisateurs
Un serveur répond à plusieurs personnes à la fois, dans des places. Le script répartit six requêtes dans trois places, de deux façons. Les lots statiques attendent qu'un lot entier soit fini : 14 étapes, places occupées à 55 %. Les lots continus reprennent une place libre à l'étape suivante : 9 étapes, 85 % d'occupation.
docker exec jupyter python3 steps/batch.pyAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Un petit modèle devine, le grand vérifie
Dans le décodage spéculatif, un minuscule modèle brouillon devine quatre caractères et le modèle les vérifie en une passe, en gardant les propositions jusqu'à la première fausse. Chaque ligne est un tour. À la fin, le texte est le même qu'avec le décodage simple (True), produit en 13 passes au lieu de 32.
docker exec jupyter python3 steps/speculate.pyAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
L’int8 range chaque poids sur un octet
Le script arrondit chaque poids à un entier de -127 à 127, avec une échelle pour chaque ligne. Les poids passent de 12108 octets à 3543. Le modèle choisit toujours le même caractère suivant à 64 places sur 64, et écrit la même réponse.
docker exec jupyter python3 steps/quantise.pyAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Une erreur fréquente
Attention
Beaucoup pensent que ces astuces rendent le modèle plus intelligent. Aucune ne change ce qu'il écrit : le cache, les lots et le décodage spéculatif donnent exactement le même texte, et l'int8 a donné le même texte ici. Elles changent le coût : combien de travail, combien de mémoire et combien de temps. Vérifie toujours que la réponse est restée la même.
Le même travail dans un notebook
Ouvre JupyterLab depuis la barre et double-clique sur start.ipynb. Clique sur une cellule et appuie sur Maj et Entrée pour l'exécuter. La cellule sous Real timings chronomètre le modèle avec une vraie horloge : ses nombres changent donc d'une exécution à l'autre. La dernière cellule attend ta propre question.
Vérification finale
Astuce
Réponds sans revenir en arrière. 1. Comment s'appelle la première passe, celle qui lit l'invite ? 2. Combien de jetons produit une passe de décodage ? 3. Qu'a économisé le cache KV ? 4. L'int8 a-t-il changé la réponse ici ? Réponses : le prefill ; un ; le recalcul des clés et des valeurs, 880 lignes contre 43 ; non.
Pour les enseignants
Astuce
Cette leçon est un petit exemple de leçon travaillée dans un lab : les étapes et les boutons Exécuter sont la leçon, et le lab est la copie de chaque élève. Le lab est un seul service, JupyterLab avec un tout petit modèle de caractères écrit en NumPy et entraîné au démarrage, et rien ici ne se corrige tout seul : l'élève rend un notebook à lui, téléchargé depuis JupyterLab, et une phrase sur ce qu'il a montré. Points clés : 1. Un modèle écrit un jeton par passe, après une passe de prefill. 2. Le cache KV, les lots et le décodage spéculatif changent le coût, pas le texte. 3. L'int8 réduit les poids à environ un quart. Erreur fréquente : croire que ces astuces changent la réponse. Matériel : le lab et un navigateur. Conseil : demandez aux élèves de prévoir l'économie du cache avant de lancer le script. Le module Comment marche l'inférence d'un modèle de langage, sur un CPU, se travaille dans le même lab. Copiez-la dans votre propre module et modifiez-la, ou créez-en une de zéro avec le menu Lab du créateur de leçons.