¿Te resulta más fácil leer con fondo crema, un tono de color, más contraste o un texto más grande? Elige tus colores y tu texto una sola vez, para todas las páginas.

Lección gratuita

Cómo funciona la decodificación especulativa

Después de esta lección: Puedo decidir qué tokens del borrador acepta el modelo objetivo en la decodificación especulativa.

Lección de 60 min2 comandosLaboratorio de inferencia de LLM: un modelo de lenguaje diminuto en una CPU, con caché KV, batching e int8

Que un modelo pequeño adivine primero

La decodificación especulativa acelera un modelo de lenguaje con un modelo borrador pequeño que adivina los siguientes tokens. Después, el modelo grande comprueba todas las conjeturas en una sola pasada.

Comprobar varios tokens a la vez cuesta más o menos lo mismo que hacer uno, porque la decodificación está limitada por memoria. Así que cada buena conjetura es un token casi gratis.

Al final de esta lección

Nota

Puedo decidir qué tokens del borrador acepta el modelo objetivo en la decodificación especulativa.

Palabras clave

PalabraQué significa
Modelo borradorun modelo pequeño y rápido que adivina tokens (draft en inglés)
Modelo objetivoel modelo grande cuya respuesta cuenta (target en inglés)
Verificarcomprobar varias conjeturas en una pasada del objetivo
Aceptarquedarse con un token conjeturado
Tasa de aceptaciónla parte de las conjeturas que se aceptan

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

Una conjetura barata y una comprobación cara

El modelo borrador es diminuto, así que cada conjetura suya no cuesta casi nada. Adivina cuatro tokens seguidos. Después, el modelo objetivo lee esos cuatro en una sola pasada, como el prefill lee un prompt.

Esa pasada da la elección del propio objetivo después de cada conjetura. Donde los dos coinciden, la conjetura se acepta. Una pasada que lee cuatro tokens cuesta más o menos lo mismo que una pasada de decodificación.

Compara el borrador con el objetivo

Comando
docker exec jupyter python3 steps/draft.py

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Lo que imprimió la Ejecución

LíneaLo que muestra
draft model: a table ... 361 numbersQué carácter sigue a cuál, contado en el texto
target model: the tiny transformer, 4355 numbersUnas 12 veces más grande
the draft guesses the target's choice 38 timesDe las 64 primeras posiciones

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

Acepta hasta el primer desacuerdo

Con decodificación voraz la regla es sencilla. Compara cada conjetura con la elección del propio objetivo en ese sitio. Acepta conjeturas mientras coincidan.

En el primer desacuerdo, tira esa conjetura y todas las siguientes, y toma el token del propio objetivo. Si coinciden las cuatro, la pasada del objetivo da además un quinto token gratis. En cualquier caso, cada pasada añade al menos un token.

Pruébalo: ¿qué conjeturas se aceptan?

Código: python
# El borrador conjeturó cuatro caracteres. El objetivo los comprobó en una pasada.
draft = "athe"
target = "at e."  # la elección del objetivo antes de cada conjetura, y una más
kept = 0
while kept < len(draft) and draft[kept] == target[kept]:
    kept = kept + 1
print("conjeturas aceptadas:", kept)
print("el objetivo añade:", repr(target[kept]))
# Cambia target por "athe " para que coincidan las cuatro. ¿Qué añade el objetivo?

Ejecuta la decodificación especulativa

Comando
docker exec jupyter python3 steps/speculate.py

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Ejemplo resuelto: las primeras rondas

El borrador adivinóAceptadasEl objetivo añadió
"the "0"s"
"athe"2" "
" the"4" "
Las 13 rondas21 de 5232 caracteres en 13 pasadas

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

Un error frecuente

Advertencia

Mucha gente cree que la decodificación especulativa cambia calidad por velocidad. Cada token aceptado es uno que el propio objetivo habría elegido, así que el texto es el mismo. Un borrador malo solo hace perder tiempo: sus conjeturas se tiran y el objetivo añade un token por pasada.

Con muestreo, se acepta por azar

Cuando el objetivo muestrea en vez de elegir el token mejor puntuado, no basta con coincidir. Supón que el objetivo da al token conjeturado una probabilidad p y el borrador le dio q. Acéptalo con probabilidad p entre q, o siempre si p es mayor.

Si se rechaza, saca un token de lo que sobra. Eso es p menos q de cada token donde sale por encima de cero, escalado para que sume 1. Así se conservan exactamente las probabilidades del objetivo.

Ejemplo resuelto: tres tokens

Tokenp del objetivoq del borradorProbabilidad de aceptarLo que sobra
a0,50,70,7140
b0,30,210,5
c0,20,110,5

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

Pruébalo: la probabilidad de aceptar

Código: python
# El borrador da a un token la probabilidad q; el objetivo le da la probabilidad p.
p = 0.5
q = 0.7
if p >= q:
    keep = 1.0
else:
    keep = p / q
print("probabilidad de aceptar la conjetura:", round(keep, 3))
# Prueba p = 0.3 y q = 0.2. ¿Por qué se acepta siempre la conjetura?

Sobre este laboratorio y su código: Laboratorio de inferencia de LLM: un modelo de lenguaje diminuto en una CPU, con caché KV, batching e int8

¿Enseñas a una clase? Asigna este módulo a tus alumnos con guía del profesor, tareas con corrección automática y un laboratorio para cada alumno.