¿Te resulta más fácil leer con fondo crema, un tono de color, más contraste o un texto más grande? Elige tus colores y tu texto una sola vez, para todas las páginas.

Lección gratuita

Cuantización a int8 a mano

Después de esta lección: Puedo cuantizar una fila de pesos a int8 y medir el error.

Lección de 60 min2 comandosLaboratorio de inferencia de LLM: un modelo de lenguaje diminuto en una CPU, con caché KV, batching e int8

La cuarta parte de los bytes

La cuantización a int8 guarda cada peso de un modelo de lenguaje como un número entero de -127 a 127 en un byte. Una escala lo convierte de nuevo en un número real.

La decodificación lee todos los pesos en cada pasada, así que la cuarta parte de los bytes es la cuarta parte de la lectura. La pregunta es cuánto cuesta en precisión.

Al final de esta lección

Nota

Puedo cuantizar una fila de pesos a int8 y medir el error.

Palabras clave

PalabraQué significa
Int8un número entero guardado en un byte
Escalael número por el que se multiplica un valor int8 para recuperarlo
Cuantizarconvertir números reales en valores int8 con una escala
Descuantizarvolver a multiplicar los valores int8 por la escala
Escala por filauna escala para cada fila de una matriz
Valor atípicoun valor mucho mayor que los demás (outlier en inglés)

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

Una escala lleva cada fila a int8

Busca el mayor valor absoluto de la fila. Divídelo entre 127 y tienes la escala. Divide cada número entre la escala y redondéalo: ese es su valor int8.

Para recuperar un número, multiplica su valor int8 por la escala. El valor mayor vuelve exacto. Cada uno de los demás vuelve un poco desviado, como mucho media escala.

Ejemplo resuelto: una fila de cuatro pesos

PesoDividido por la escala 0,00945Int8De vueltaError
0,3031,75320,302360,00236
-1,20-127-127-1,20
0,077,4170,066140,00386
0,5052,92530,500790,00079

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

Pruébalo: cuantiza una fila

Código: python
# Una fila de pesos, cuantizada a int8 con su propia escala.
row = [0.30, -1.20, 0.07, 0.50]
biggest = 0
for x in row:
    biggest = max(biggest, abs(x))
scale = biggest / 127
ints = []
for x in row:
    ints.append(round(x / scale))
print("escala:", round(scale, 5))
print("valores int8:", ints)
back = []
for n in ints:
    back.append(round(n * scale, 5))
print("de vuelta:", back)
# Cambia 0.07 por 0.004. ¿Qué le pasa?

Cuantiza el modelo entero y compara

El laboratorio cuantiza cada una de las cinco matrices de pesos del modelo, con una escala por fila. Imprime el error máximo de cada matriz y los bytes antes y después, escalas incluidas.

Luego hace la pregunta que importa: ¿sigue eligiendo el modelo el mismo carácter siguiente? Lo comprueba en cada posición de los 64 primeros caracteres de su texto y después escribe una respuesta de las dos maneras.

Cuantiza el modelo a int8

Comando
docker exec jupyter python3 steps/quantise.py

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Lo que imprimió la Ejecución

MedidaResultado
Bytes en float3212108
Bytes en int8, escalas incluidas3543
Error máximo en un pesode 0,00221 a 0,03771
Mismo carácter siguienteen 64 de 64 posiciones
Respuesta a "the cat ", de las dos manerassat on the mat. the dog

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

Un valor grande estropea una escala compartida

Con una sola escala para toda una matriz, el mayor valor de la matriz marca el salto entre niveles. Si un peso es mucho mayor que los demás, el salto se ensancha y los pesos pequeños pierden detalle.

Una escala por fila deja el daño en esa fila. El laboratorio pone un peso a 40 y mide el error medio de las dos maneras.

Una escala frente a una por fila

Comando
docker exec jupyter python3 steps/outlier.py

Se muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.

Ejemplo resuelto: error medio de la última matriz

MatrizUna escalaUna escala por fila
Tal como se entrenó0,01940,00617
Con un valor puesto a 400,07820,00702

Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.

Un error frecuente

Advertencia

Mucha gente cree que int8 acelera un modelo porque las sumas con enteros son más rápidas. En la decodificación, la ganancia viene sobre todo de leer la cuarta parte de los bytes. Una máquina que pasa int8 a float32 para cada suma sigue leyendo menos, así que también se acelera.

Sobre este laboratorio y su código: Laboratorio de inferencia de LLM: un modelo de lenguaje diminuto en una CPU, con caché KV, batching e int8

¿Enseñas a una clase? Asigna este módulo a tus alumnos con guía del profesor, tareas con corrección automática y un laboratorio para cada alumno.