Plus facile à lire avec un fond crème, une teinte, plus de contraste ou un texte plus grand ? Choisissez vos couleurs et votre texte, une fois pour toutes les pages.

Leçon gratuite

Prefill et décodage dans l’inférence d’un LLM

Après cette leçon: Je peux expliquer pourquoi le décodage est limité par la lecture de la mémoire, et pas le prefill.

Leçon de 60 min2 commandesLab d’inférence de LLM : un petit modèle de langage sur un CPU, avec cache KV, lots et int8

Pourquoi le premier mot est-il le plus long ?

L’inférence d’un LLM est le travail que fait un modèle de langage déjà entraîné pour vous répondre. Elle se déroule en deux phases. Le prefill lit toute votre invite, puis le décodage écrit la réponse un jeton à la fois.

Ces deux phases n’utilisent pas l’ordinateur de la même façon. Savoir laquelle est lente, et pourquoi, est le point de départ de chaque accélération de ce module.

À la fin de cette leçon

Remarque

Je peux expliquer pourquoi le décodage est limité par la lecture de la mémoire, et pas le prefill.

Mots-clés

MotCe que ça veut dire
Inférencefaire tourner un modèle entraîné pour obtenir une sortie
Passeune exécution du modèle sur quelques jetons
Prefillla première passe, qui lit toute l’invite
Décodageles passes suivantes, un nouveau jeton chacune
Multiplication-additionune multiplication et une addition, l’unité de travail d’un modèle
Limité par la mémoirefreiné par la lecture de la mémoire, pas par le calcul

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

Générer, c’est une boucle de passes

Un modèle ne répond jamais qu’à une question : qu’est-ce qui vient ensuite ? Pour écrire une réponse, il tourne donc en boucle. La première passe lit l’invite et donne le premier nouveau jeton. C’est le prefill.

Chaque passe suivante lit le jeton qui vient d’être produit et en donne un de plus. C’est le décodage. Une réponse de 100 jetons demande une passe de prefill et 99 passes de décodage.

Voir le prefill puis le décodage

Commande
docker exec jupyter python3 steps/generate.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Ce que le Run a affiché

LigneCe qu’elle montre
prefill: read 12 tokens of the prompt in one passTout « the cat sat » lu d’un coup
decode step 1 chose 'o'Le premier nouveau caractère
decode step 10 chose 't'Le texte est maintenant « the cat sat on the mat »

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

À vous : comptez les passes

Code: python
# Un modèle de remplacement : une table du mot qui suit chaque mot.
SUIVANT = {"le": "chat", "chat": "dort", "dort": "sur", "sur": "le"}

invite = ["le", "chien", "dort"]
passes = 1  # le prefill lit toute l'invite en une passe
mots = [SUIVANT[invite[-1]]]
while len(mots) < 5:
    passes = passes + 1  # chaque passe de décodage lit un seul nouveau mot
    mots.append(SUIVANT[mots[-1]])
print("nouveaux mots :", mots)
print("passes :", passes)
# Remplacez 5 par 10. Combien de passes maintenant ?

Chaque passe lit chaque poids

Un modèle est surtout fait de grandes tables de nombres, les poids. Une passe doit lire chacun d’eux en mémoire. Elle fait environ une multiplication-addition par poids pour chaque jeton qu’elle lit.

Le prefill lit les poids une fois pour toute l’invite : une invite de 24 jetons fait le travail de 24 jetons pour une seule lecture. Le décodage relit tous les poids pour faire le travail d’un seul jeton.

Compter le travail de chaque phase

Commande
docker exec jupyter python3 steps/phases.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Exemple travaillé : les deux phases dans le labo

PhasePassesMultiplications-additionsOctets lusTravail par octet
Prefill, 24 jetons130 29150 5080,6
Décodage, 24 jetons24100 680402 7200,2

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

Une erreur fréquente

Attention

Beaucoup pensent que le décodage est lent parce qu’il calcule davantage. Chaque passe de décodage calcule moins que le prefill. Elle est lente parce qu’elle doit relire tous les poids pour produire un seul jeton. Demandez combien d’octets lit une passe, pas seulement combien de calculs elle fait.

La mémoire fixe la meilleure vitesse de décodage

Un grand modèle a des milliards de poids. Un modèle 7B en a 7 milliards. À 2 octets chacun, cela fait 14 Go à lire à chaque passe de décodage.

Si la mémoire livre 50 Go par seconde, le mieux possible est d’environ 3,6 passes par seconde, quelle que soit la vitesse du calcul. C’est le sens de limité par la mémoire. Le modèle du labo ne pèse que 12 Ko : ses comptes montrent la forme, pas de vraies vitesses.

À vous : la meilleure vitesse de décodage

Code: python
# Chaque passe de décodage lit chaque poids une fois : la mémoire fixe la meilleure vitesse.
LECTURE_GO_PAR_SECONDE = 50

modeles = [["7B sur 2 octets", 7, 2], ["7B sur 1 octet", 7, 1], ["1B sur 2 octets", 1, 2]]
for nom, milliards, octets in modeles:
    go_par_passe = milliards * octets
    meilleure = LECTURE_GO_PAR_SECONDE / go_par_passe
    print(nom, ": lit", go_par_passe, "Go par passe, au plus", round(meilleure, 1), "jetons par seconde")
# Passez LECTURE_GO_PAR_SECONDE à 100. Que deviennent toutes les vitesses ?

À propos de ce labo et de sa source: Lab d’inférence de LLM : un petit modèle de langage sur un CPU, avec cache KV, lots et int8

Vous enseignez à une classe ? Proposez ce module à vos étudiants avec un guide de l'enseignant, des devoirs corrigés et un laboratoire pour chaque étudiant.