Pourquoi le premier mot est-il le plus long ?
L’inférence d’un LLM est le travail que fait un modèle de langage déjà entraîné pour vous répondre. Elle se déroule en deux phases. Le prefill lit toute votre invite, puis le décodage écrit la réponse un jeton à la fois.
Ces deux phases n’utilisent pas l’ordinateur de la même façon. Savoir laquelle est lente, et pourquoi, est le point de départ de chaque accélération de ce module.
À la fin de cette leçon
Remarque
Je peux expliquer pourquoi le décodage est limité par la lecture de la mémoire, et pas le prefill.
Mots-clés
| Mot | Ce que ça veut dire |
|---|---|
| Inférence | faire tourner un modèle entraîné pour obtenir une sortie |
| Passe | une exécution du modèle sur quelques jetons |
| Prefill | la première passe, qui lit toute l’invite |
| Décodage | les passes suivantes, un nouveau jeton chacune |
| Multiplication-addition | une multiplication et une addition, l’unité de travail d’un modèle |
| Limité par la mémoire | freiné par la lecture de la mémoire, pas par le calcul |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
Générer, c’est une boucle de passes
Un modèle ne répond jamais qu’à une question : qu’est-ce qui vient ensuite ? Pour écrire une réponse, il tourne donc en boucle. La première passe lit l’invite et donne le premier nouveau jeton. C’est le prefill.
Chaque passe suivante lit le jeton qui vient d’être produit et en donne un de plus. C’est le décodage. Une réponse de 100 jetons demande une passe de prefill et 99 passes de décodage.
Voir le prefill puis le décodage
docker exec jupyter python3 steps/generate.pyAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Ce que le Run a affiché
| Ligne | Ce qu’elle montre |
|---|---|
| prefill: read 12 tokens of the prompt in one pass | Tout « the cat sat » lu d’un coup |
| decode step 1 chose 'o' | Le premier nouveau caractère |
| decode step 10 chose 't' | Le texte est maintenant « the cat sat on the mat » |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
À vous : comptez les passes
# Un modèle de remplacement : une table du mot qui suit chaque mot.
SUIVANT = {"le": "chat", "chat": "dort", "dort": "sur", "sur": "le"}
invite = ["le", "chien", "dort"]
passes = 1 # le prefill lit toute l'invite en une passe
mots = [SUIVANT[invite[-1]]]
while len(mots) < 5:
passes = passes + 1 # chaque passe de décodage lit un seul nouveau mot
mots.append(SUIVANT[mots[-1]])
print("nouveaux mots :", mots)
print("passes :", passes)
# Remplacez 5 par 10. Combien de passes maintenant ?
Chaque passe lit chaque poids
Un modèle est surtout fait de grandes tables de nombres, les poids. Une passe doit lire chacun d’eux en mémoire. Elle fait environ une multiplication-addition par poids pour chaque jeton qu’elle lit.
Le prefill lit les poids une fois pour toute l’invite : une invite de 24 jetons fait le travail de 24 jetons pour une seule lecture. Le décodage relit tous les poids pour faire le travail d’un seul jeton.
Compter le travail de chaque phase
docker exec jupyter python3 steps/phases.pyAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Exemple travaillé : les deux phases dans le labo
| Phase | Passes | Multiplications-additions | Octets lus | Travail par octet |
|---|---|---|---|---|
| Prefill, 24 jetons | 1 | 30 291 | 50 508 | 0,6 |
| Décodage, 24 jetons | 24 | 100 680 | 402 720 | 0,2 |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
Une erreur fréquente
Attention
Beaucoup pensent que le décodage est lent parce qu’il calcule davantage. Chaque passe de décodage calcule moins que le prefill. Elle est lente parce qu’elle doit relire tous les poids pour produire un seul jeton. Demandez combien d’octets lit une passe, pas seulement combien de calculs elle fait.
La mémoire fixe la meilleure vitesse de décodage
Un grand modèle a des milliards de poids. Un modèle 7B en a 7 milliards. À 2 octets chacun, cela fait 14 Go à lire à chaque passe de décodage.
Si la mémoire livre 50 Go par seconde, le mieux possible est d’environ 3,6 passes par seconde, quelle que soit la vitesse du calcul. C’est le sens de limité par la mémoire. Le modèle du labo ne pèse que 12 Ko : ses comptes montrent la forme, pas de vraies vitesses.
À vous : la meilleure vitesse de décodage
# Chaque passe de décodage lit chaque poids une fois : la mémoire fixe la meilleure vitesse.
LECTURE_GO_PAR_SECONDE = 50
modeles = [["7B sur 2 octets", 7, 2], ["7B sur 1 octet", 7, 1], ["1B sur 2 octets", 1, 2]]
for nom, milliards, octets in modeles:
go_par_passe = milliards * octets
meilleure = LECTURE_GO_PAR_SECONDE / go_par_passe
print(nom, ": lit", go_par_passe, "Go par passe, au plus", round(meilleure, 1), "jetons par seconde")
# Passez LECTURE_GO_PAR_SECONDE à 100. Que deviennent toutes les vitesses ?