Laisser un petit modèle deviner d’abord
Le décodage spéculatif accélère un modèle de langage grâce à un petit modèle brouillon qui devine les prochains jetons. Le grand modèle vérifie ensuite toutes les propositions en une seule passe.
Vérifier plusieurs jetons d’un coup coûte à peu près autant qu’en produire un, car le décodage est limité par la mémoire. Chaque bonne proposition est donc un jeton presque gratuit.
À la fin de cette leçon
Remarque
Je peux décider quels jetons du brouillon le modèle cible garde dans le décodage spéculatif.
Mots-clés
| Mot | Ce que ça veut dire |
|---|---|
| Modèle brouillon | un petit modèle rapide qui devine des jetons |
| Modèle cible | le grand modèle dont la réponse compte |
| Vérifier | contrôler plusieurs propositions en une passe de la cible |
| Accepter | garder un jeton proposé |
| Taux d’acceptation | la part des propositions gardées |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
Une proposition bon marché, puis une vérification coûteuse
Le modèle brouillon est minuscule : chacune de ses propositions ne coûte presque rien. Il devine quatre jetons à la suite. Le modèle cible lit ensuite ces quatre jetons en une passe, comme le prefill lit une invite.
Cette passe donne le choix de la cible après chaque proposition. Là où les deux sont d’accord, la proposition est gardée. Une passe qui lit quatre jetons coûte à peu près autant qu’une passe de décodage.
Comparer le brouillon et la cible
docker exec jupyter python3 steps/draft.pyAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Ce que le Run a affiché
| Ligne | Ce qu’elle montre |
|---|---|
| draft model: a table ... 361 numbers | Quel caractère suit lequel, compté dans le texte |
| target model: the tiny transformer, 4355 numbers | Environ 12 fois plus grand |
| the draft guesses the target's choice 38 times | Sur les 64 premières places |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
Garder jusqu’au premier désaccord
Avec le décodage glouton, la règle est simple. Comparez chaque proposition au choix de la cible à cette place. Gardez les propositions tant qu’elles concordent.
Au premier désaccord, jetez cette proposition et toutes les suivantes, et prenez à la place le jeton de la cible. Si les quatre concordent, la passe de la cible donne en plus un cinquième jeton gratuit. Dans tous les cas, chaque passe ajoute au moins un jeton.
À vous : quelles propositions sont gardées ?
# Le brouillon a proposé quatre caractères. La cible les a vérifiés en une passe.
brouillon = "athe"
cible = "at e." # le choix de la cible avant chaque proposition, et un de plus
gardes = 0
while gardes < len(brouillon) and brouillon[gardes] == cible[gardes]:
gardes = gardes + 1
print("propositions gardées :", gardes)
print("la cible ajoute :", repr(cible[gardes]))
# Remplacez cible par "athe " pour que les quatre soient justes. Qu'ajoute la cible ?
Lancer le décodage spéculatif
docker exec jupyter python3 steps/speculate.pyAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Exemple travaillé : trois des tours
| Le brouillon a proposé | Gardés | La cible a ajouté |
|---|---|---|
| Tour 1 : "the " | 0 | "s" |
| Tour 2 : "athe" | 2 | " " |
| Tour 5 : " the" | 4 | " " |
| Les 13 tours | 21 sur 52 | 32 caractères en 13 passes |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
Une erreur fréquente
Attention
Beaucoup pensent que le décodage spéculatif échange de la qualité contre de la vitesse. Chaque jeton gardé est un jeton que la cible aurait choisi elle-même : le texte est donc le même. Un mauvais brouillon fait seulement perdre du temps. Ses propositions sont jetées et la cible ajoute un jeton par passe.
Avec l’échantillonnage, garder au hasard
Quand la cible tire au sort au lieu de prendre le meilleur jeton, la concordance ne suffit plus. Disons que la cible donne au jeton proposé la probabilité p et que le brouillon lui avait donné q. On le garde avec la probabilité p divisé par q, ou toujours si p est plus grand.
S’il est jeté, on tire dans ce qui reste. Ce reste vaut p moins q pour chaque jeton où c’est positif, ramené à un total de 1. Ainsi, les probabilités de la cible sont respectées exactement.
Exemple travaillé : trois jetons
| Jeton | p de la cible | q du brouillon | Probabilité de garder | Ce qui reste |
|---|---|---|---|---|
| a | 0,5 | 0,7 | 0,714 | 0 |
| b | 0,3 | 0,2 | 1 | 0,5 |
| c | 0,2 | 0,1 | 1 | 0,5 |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
À vous : la probabilité de garder
# Le brouillon donne à un jeton la probabilité q ; la cible lui donne p.
p = 0.5
q = 0.7
if p >= q:
garder = 1.0
else:
garder = p / q
print("probabilité de garder la proposition :", round(garder, 3))
# Essayez p = 0.3 et q = 0.2. Pourquoi la proposition est-elle toujours gardée ?