Lab d’inférence de LLM : un petit modèle de langage sur un CPU, avec cache KV, lots et int8

Ce lab donne à chaque élève un JupyterLab à lui avec un tout petit modèle de langage écrit en NumPy, assez court pour être lu en entier : il lit des caractères, a une couche d’attention et garde un cache KV. Il est entraîné au démarrage du lab, en moins d’une seconde, à partir d’un texte et d’une graine fixes : chaque copie a donc le même modèle. De courts scripts montrent comment marche l’inférence et comment les serveurs l’accélèrent, et affichent toujours la même chose, car ils comptent le travail au lieu de le chronométrer.

Le modèle est bien trop petit pour être utile, et le lab le dit : il montre seulement le mécanisme. Il n’y a pas de GPU, rien n’est téléchargé et aucun service d’IA n’est appelé. Ce n’est pas non plus un lab d’attaque : chaque copie n’a aucun accès à internet ni à aucun autre élève.

Ce que les élèves apprennent

Comment répond un modèle de langage : une passe de prefill lit l’invite, puis une passe de décodage produit chaque nouveau jeton, et pourquoi le décodage est limité par la lecture de la mémoire. Ils génèrent les mêmes 32 caractères avec et sans cache KV et comptent 880 lignes de clés et de valeurs contre 43. Ils répartissent six requêtes dans trois places et voient les lots continus finir en 9 étapes là où les lots statiques en prennent 14. Ils font du décodage spéculatif avec un petit modèle brouillon, 13 passes pour 32 caractères avec le même texte, et quantifient le modèle en int8, de 12108 octets à 3543, avec le même caractère suivant à chaque place vérifiée. Il convient à un second cours d’apprentissage automatique ou de performance des systèmes ; vérifiez la formulation exacte dans le programme de votre propre organisme, aucun n’est cité ici.

Le lancer dans votre navigateur

Le lab démarre un seul service, jupyter, qui écrit dans son dossier de travail le modèle, un script d’entraînement, un outil int8, un script de mesure du temps, un notebook de départ et les courts scripts, puis entraîne le modèle, sans rien télécharger. JupyterLab ne demande aucun jeton, car la porte de la plateforme sait déjà qui l’ouvre. Le terminal à côté du lab n’a pas de Python à lui : il atteint celui du lab avec docker exec jupyter, suivi de la commande à lancer à l’intérieur.

  1. Ouvrir la page Conteneur. Ouvrez « Créer » dans la barre et choisissez « Lancer un conteneur ». Tout le monde peut ouvrir la page, et le lab Git et le lab SQL se lancent sans compte. Tous les autres labs demandent un compte gratuit : créez-en un, connectez-vous, puis appuyez sur « Démarrer ».
  2. Trouver le lab. La carte « Laboratoires d’exemple » liste tous les exemples. Trouvez Inférence de LLM : un petit modèle sur CPU.
  3. Appuyer sur Démarrer. « Démarrer » le lance tel quel, en un clic. « Modifier le fichier d’abord » ouvre le fichier compose pour que vous puissiez le changer avant de démarrer.
  4. L’ouvrir. Sur la page du lab, la barre du lab a un lien appelé JupyterLab : appuyez dessus pour ouvrir JupyterLab dans votre navigateur et lisez tiny.py dans l’éditeur de fichiers. Appuyez ensuite sur « Ouvrir le terminal » et tapez docker exec jupyter python3 steps/cache.py pour voir le même texte produit avec et sans cache KV, et le travail de chaque façon.

Ce qu’il faut demander aux élèves de rendre

Un notebook à eux qui utilise tiny.py pour répondre à une question qu’ils ont choisie, par exemple comment le travail d’une étape de décodage grandit avec la longueur du texte, combien le caractère suivant change quand les poids sont quantifiés avec une seule échelle au lieu d’une par ligne, ou comment l’acceptation du décodage spéculatif change avec le nombre de propositions, téléchargé depuis JupyterLab avec File, Download. Puis une phrase ou deux, dans leurs propres mots, sur ce qu’ils ont trouvé. Rien n’est corrigé automatiquement : la phrase montre si c’est compris.

Une leçon de base sur ce lab

LLM Inference Basics (Les bases de l’inférence d’un LLM) est une petite leçon qui se fait dans ce lab. L’élève y lit le journal d’entraînement, regarde le prefill puis le décodage, compare un cache KV avec l’absence de cache, répartit des requêtes des deux façons, fait du décodage spéculatif et quantifie le modèle en int8. Le module Comment marche l’inférence d’un modèle de langage, sur un CPU, se travaille dans le même lab, avec six leçons et six devoirs notés.

Les comptes personnels gratuits la trouvent dans le module Basics, sur l’« Accueil », et chaque établissement peut la copier depuis le dossier Basics de la Bibliothèque. Elle est volontairement courte : elle montre à un enseignant ce qu’est une leçon travaillée dans un lab, et le lab fait le reste. Copiez-la dans un module à vous pour la modifier.

Le code sur GitHub

Le fichier compose n’a pas de Dockerfile : il lance une seule image publique telle quelle, le scipy-notebook des Jupyter Docker Stacks, figé sur une étiquette datée, sous son propre compte sans privilèges avec 512 Mo de mémoire, et le modèle n’utilise que NumPy. L’image est sous licence BSD-3-Clause et nous ne la distribuons pas. Le fichier écrit chaque fichier Python à partir d’un texte fixe au démarrage et entraîne avec une graine fixe : chaque copie affiche donc la même chose et rien n’est téléchargé. Les limites sont honnêtes : le modèle est minuscule et son texte n’est plausible que sur quelques mots, les vraies mesures du notebook changent d’une exécution à l’autre, et rien n’est gardé quand le lab s’arrête, donc l’élève télécharge d’abord son notebook.

Le donner comme travail

Indiquez dans la tâche ce qu’il faut rendre.

  1. Créer le lab. Dans votre module, ajoutez une tâche et choisissez la carte « Lab de conteneurs », puis « Dans un dépôt GitHub ». Indiquez https://github.com/mitsurutech/lab-inference-lab avec la branche main. Le fichier compose par défaut est compose.yaml. Faites d’abord un fork du dépôt si vous voulez le modifier, par exemple pour entraîner le modèle sur un texte à vous.
  2. Publier et l’essayer. « Publier » fige le commit qui vous a été montré : un changement ultérieur dans le dépôt ne modifie donc pas un lab que vous avez déjà proposé. Démarrez d’abord votre propre copie.
  3. Le distribuer. Attribuez-le comme n’importe quelle tâche, avec une échéance si vous le souhaitez, et indiquez dans la tâche ce qu’il faut faire et ce qu’il faut rendre.
  4. Noter ce qui est rendu. Ouvrez la copie d’un élève et le travail rendu, notez-le et renvoyez-le avec un motif s’il demande un complément.

Essayer ce lab, et ce qu’il coûte

Un compte personnel gratuit permet de suivre les leçons de base de ce lab, avec chaque mois assez de crédit gratuit pour suivre la plupart des leçons, sans carte. Pour une classe, un établissement a ses 365 premiers jours gratuits pour 50 élèves au plus, puis paie par élève et par an, tous les labs compris et les enseignants gratuits.

Questions fréquentes

Pourquoi n’y a-t-il ni jeton ni mot de passe à taper ?
La page web d’un lab ne s’atteint que par la porte de la plateforme, qui sait déjà qui vous êtes et ne laisse entrer que vous et les enseignants de votre module. JupyterLab est donc lancé sans jeton. Ne le lancez pas ainsi sur une machine que d’autres peuvent atteindre.
Pourquoi le terminal utilise-t-il docker exec jupyter ?
Le terminal du lab porte quelques clients et pas de Python. docker exec jupyter lance une commande dans le conteneur du lab, qui a Python. JupyterLab a aussi son propre terminal, sous File, New, Terminal.
Est-ce un vrai modèle de langage ?
C’en est un vrai, rendu tout petit : il lit des caractères, a une couche d’attention et environ 4 400 nombres, et a été entraîné sur un seul paragraphe en anglais. Son texte n’est plausible que sur quelques mots. Chaque idée qu’il montre, le cache, les lots, le décodage spéculatif et l’int8, marche de la même façon dans un grand modèle ; seules les tailles changent.
Pourquoi les scripts comptent-ils le travail au lieu de le chronométrer ?
Une vraie horloge donne un nombre différent à chaque exécution et sur chaque machine : une leçon ne pourrait pas dire ce que verra l’élève. Les scripts comptent les multiplications-additions et les octets lus, qui sont toujours les mêmes. Le notebook a une cellule qui chronomètre le modèle pour de vrai, après une chauffe et avec des répétitions, pour comparer.
Faut-il un GPU ?
Non. Le modèle est assez petit pour n’importe quel CPU, et le lab est un JupyterLab avec NumPy. Un vrai moteur de service sur GPU fait les mêmes choses à une échelle bien plus grande ; le lab modélise les idées et les leçons disent ce qu’il laisse de côté.