Plus facile à lire avec un fond crème, une teinte, plus de contraste ou un texte plus grand ? Choisissez vos couleurs et votre texte, une fois pour toutes les pages.

Leçon gratuite

Comment marche le décodage spéculatif

Après cette leçon: Je peux décider quels jetons du brouillon le modèle cible garde dans le décodage spéculatif.

Leçon de 60 min2 commandesLab d’inférence de LLM : un petit modèle de langage sur un CPU, avec cache KV, lots et int8

Laisser un petit modèle deviner d’abord

Le décodage spéculatif accélère un modèle de langage grâce à un petit modèle brouillon qui devine les prochains jetons. Le grand modèle vérifie ensuite toutes les propositions en une seule passe.

Vérifier plusieurs jetons d’un coup coûte à peu près autant qu’en produire un, car le décodage est limité par la mémoire. Chaque bonne proposition est donc un jeton presque gratuit.

À la fin de cette leçon

Remarque

Je peux décider quels jetons du brouillon le modèle cible garde dans le décodage spéculatif.

Mots-clés

MotCe que ça veut dire
Modèle brouillonun petit modèle rapide qui devine des jetons
Modèle ciblele grand modèle dont la réponse compte
Vérifiercontrôler plusieurs propositions en une passe de la cible
Acceptergarder un jeton proposé
Taux d’acceptationla part des propositions gardées

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

Une proposition bon marché, puis une vérification coûteuse

Le modèle brouillon est minuscule : chacune de ses propositions ne coûte presque rien. Il devine quatre jetons à la suite. Le modèle cible lit ensuite ces quatre jetons en une passe, comme le prefill lit une invite.

Cette passe donne le choix de la cible après chaque proposition. Là où les deux sont d’accord, la proposition est gardée. Une passe qui lit quatre jetons coûte à peu près autant qu’une passe de décodage.

Comparer le brouillon et la cible

Commande
docker exec jupyter python3 steps/draft.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Ce que le Run a affiché

LigneCe qu’elle montre
draft model: a table ... 361 numbersQuel caractère suit lequel, compté dans le texte
target model: the tiny transformer, 4355 numbersEnviron 12 fois plus grand
the draft guesses the target's choice 38 timesSur les 64 premières places

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

Garder jusqu’au premier désaccord

Avec le décodage glouton, la règle est simple. Comparez chaque proposition au choix de la cible à cette place. Gardez les propositions tant qu’elles concordent.

Au premier désaccord, jetez cette proposition et toutes les suivantes, et prenez à la place le jeton de la cible. Si les quatre concordent, la passe de la cible donne en plus un cinquième jeton gratuit. Dans tous les cas, chaque passe ajoute au moins un jeton.

À vous : quelles propositions sont gardées ?

Code: python
# Le brouillon a proposé quatre caractères. La cible les a vérifiés en une passe.
brouillon = "athe"
cible = "at e."  # le choix de la cible avant chaque proposition, et un de plus
gardes = 0
while gardes < len(brouillon) and brouillon[gardes] == cible[gardes]:
    gardes = gardes + 1
print("propositions gardées :", gardes)
print("la cible ajoute :", repr(cible[gardes]))
# Remplacez cible par "athe " pour que les quatre soient justes. Qu'ajoute la cible ?

Lancer le décodage spéculatif

Commande
docker exec jupyter python3 steps/speculate.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Exemple travaillé : trois des tours

Le brouillon a proposéGardésLa cible a ajouté
Tour 1 : "the "0"s"
Tour 2 : "athe"2" "
Tour 5 : " the"4" "
Les 13 tours21 sur 5232 caractères en 13 passes

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

Une erreur fréquente

Attention

Beaucoup pensent que le décodage spéculatif échange de la qualité contre de la vitesse. Chaque jeton gardé est un jeton que la cible aurait choisi elle-même : le texte est donc le même. Un mauvais brouillon fait seulement perdre du temps. Ses propositions sont jetées et la cible ajoute un jeton par passe.

Avec l’échantillonnage, garder au hasard

Quand la cible tire au sort au lieu de prendre le meilleur jeton, la concordance ne suffit plus. Disons que la cible donne au jeton proposé la probabilité p et que le brouillon lui avait donné q. On le garde avec la probabilité p divisé par q, ou toujours si p est plus grand.

S’il est jeté, on tire dans ce qui reste. Ce reste vaut p moins q pour chaque jeton où c’est positif, ramené à un total de 1. Ainsi, les probabilités de la cible sont respectées exactement.

Exemple travaillé : trois jetons

Jetonp de la cibleq du brouillonProbabilité de garderCe qui reste
a0,50,70,7140
b0,30,210,5
c0,20,110,5

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

À vous : la probabilité de garder

Code: python
# Le brouillon donne à un jeton la probabilité q ; la cible lui donne p.
p = 0.5
q = 0.7
if p >= q:
    garder = 1.0
else:
    garder = p / q
print("probabilité de garder la proposition :", round(garder, 3))
# Essayez p = 0.3 et q = 0.2. Pourquoi la proposition est-elle toujours gardée ?

À propos de ce labo et de sa source: Lab d’inférence de LLM : un petit modèle de langage sur un CPU, avec cache KV, lots et int8

Vous enseignez à une classe ? Proposez ce module à vos étudiants avec un guide de l'enseignant, des devoirs corrigés et un laboratoire pour chaque étudiant.