Que un modelo pequeño adivine primero
La decodificación especulativa acelera un modelo de lenguaje con un modelo borrador pequeño que adivina los siguientes tokens. Después, el modelo grande comprueba todas las conjeturas en una sola pasada.
Comprobar varios tokens a la vez cuesta más o menos lo mismo que hacer uno, porque la decodificación está limitada por memoria. Así que cada buena conjetura es un token casi gratis.
Al final de esta lección
Nota
Puedo decidir qué tokens del borrador acepta el modelo objetivo en la decodificación especulativa.
Palabras clave
| Palabra | Qué significa |
|---|---|
| Modelo borrador | un modelo pequeño y rápido que adivina tokens (draft en inglés) |
| Modelo objetivo | el modelo grande cuya respuesta cuenta (target en inglés) |
| Verificar | comprobar varias conjeturas en una pasada del objetivo |
| Aceptar | quedarse con un token conjeturado |
| Tasa de aceptación | la parte de las conjeturas que se aceptan |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
Una conjetura barata y una comprobación cara
El modelo borrador es diminuto, así que cada conjetura suya no cuesta casi nada. Adivina cuatro tokens seguidos. Después, el modelo objetivo lee esos cuatro en una sola pasada, como el prefill lee un prompt.
Esa pasada da la elección del propio objetivo después de cada conjetura. Donde los dos coinciden, la conjetura se acepta. Una pasada que lee cuatro tokens cuesta más o menos lo mismo que una pasada de decodificación.
Compara el borrador con el objetivo
docker exec jupyter python3 steps/draft.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Lo que imprimió la Ejecución
| Línea | Lo que muestra |
|---|---|
| draft model: a table ... 361 numbers | Qué carácter sigue a cuál, contado en el texto |
| target model: the tiny transformer, 4355 numbers | Unas 12 veces más grande |
| the draft guesses the target's choice 38 times | De las 64 primeras posiciones |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
Acepta hasta el primer desacuerdo
Con decodificación voraz la regla es sencilla. Compara cada conjetura con la elección del propio objetivo en ese sitio. Acepta conjeturas mientras coincidan.
En el primer desacuerdo, tira esa conjetura y todas las siguientes, y toma el token del propio objetivo. Si coinciden las cuatro, la pasada del objetivo da además un quinto token gratis. En cualquier caso, cada pasada añade al menos un token.
Pruébalo: ¿qué conjeturas se aceptan?
# El borrador conjeturó cuatro caracteres. El objetivo los comprobó en una pasada.
draft = "athe"
target = "at e." # la elección del objetivo antes de cada conjetura, y una más
kept = 0
while kept < len(draft) and draft[kept] == target[kept]:
kept = kept + 1
print("conjeturas aceptadas:", kept)
print("el objetivo añade:", repr(target[kept]))
# Cambia target por "athe " para que coincidan las cuatro. ¿Qué añade el objetivo?
Ejecuta la decodificación especulativa
docker exec jupyter python3 steps/speculate.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Ejemplo resuelto: las primeras rondas
| El borrador adivinó | Aceptadas | El objetivo añadió |
|---|---|---|
| "the " | 0 | "s" |
| "athe" | 2 | " " |
| " the" | 4 | " " |
| Las 13 rondas | 21 de 52 | 32 caracteres en 13 pasadas |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
Un error frecuente
Advertencia
Mucha gente cree que la decodificación especulativa cambia calidad por velocidad. Cada token aceptado es uno que el propio objetivo habría elegido, así que el texto es el mismo. Un borrador malo solo hace perder tiempo: sus conjeturas se tiran y el objetivo añade un token por pasada.
Con muestreo, se acepta por azar
Cuando el objetivo muestrea en vez de elegir el token mejor puntuado, no basta con coincidir. Supón que el objetivo da al token conjeturado una probabilidad p y el borrador le dio q. Acéptalo con probabilidad p entre q, o siempre si p es mayor.
Si se rechaza, saca un token de lo que sobra. Eso es p menos q de cada token donde sale por encima de cero, escalado para que sume 1. Así se conservan exactamente las probabilidades del objetivo.
Ejemplo resuelto: tres tokens
| Token | p del objetivo | q del borrador | Probabilidad de aceptar | Lo que sobra |
|---|---|---|---|---|
| a | 0,5 | 0,7 | 0,714 | 0 |
| b | 0,3 | 0,2 | 1 | 0,5 |
| c | 0,2 | 0,1 | 1 | 0,5 |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
Pruébalo: la probabilidad de aceptar
# El borrador da a un token la probabilidad q; el objetivo le da la probabilidad p.
p = 0.5
q = 0.7
if p >= q:
keep = 1.0
else:
keep = p / q
print("probabilidad de aceptar la conjetura:", round(keep, 3))
# Prueba p = 0.3 y q = 0.2. ¿Por qué se acepta siempre la conjetura?