La cuarta parte de los bytes
La cuantización a int8 guarda cada peso de un modelo de lenguaje como un número entero de -127 a 127 en un byte. Una escala lo convierte de nuevo en un número real.
La decodificación lee todos los pesos en cada pasada, así que la cuarta parte de los bytes es la cuarta parte de la lectura. La pregunta es cuánto cuesta en precisión.
Al final de esta lección
Nota
Puedo cuantizar una fila de pesos a int8 y medir el error.
Palabras clave
| Palabra | Qué significa |
|---|---|
| Int8 | un número entero guardado en un byte |
| Escala | el número por el que se multiplica un valor int8 para recuperarlo |
| Cuantizar | convertir números reales en valores int8 con una escala |
| Descuantizar | volver a multiplicar los valores int8 por la escala |
| Escala por fila | una escala para cada fila de una matriz |
| Valor atípico | un valor mucho mayor que los demás (outlier en inglés) |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
Una escala lleva cada fila a int8
Busca el mayor valor absoluto de la fila. Divídelo entre 127 y tienes la escala. Divide cada número entre la escala y redondéalo: ese es su valor int8.
Para recuperar un número, multiplica su valor int8 por la escala. El valor mayor vuelve exacto. Cada uno de los demás vuelve un poco desviado, como mucho media escala.
Ejemplo resuelto: una fila de cuatro pesos
| Peso | Dividido por la escala 0,00945 | Int8 | De vuelta | Error |
|---|---|---|---|---|
| 0,30 | 31,75 | 32 | 0,30236 | 0,00236 |
| -1,20 | -127 | -127 | -1,2 | 0 |
| 0,07 | 7,41 | 7 | 0,06614 | 0,00386 |
| 0,50 | 52,92 | 53 | 0,50079 | 0,00079 |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
Pruébalo: cuantiza una fila
# Una fila de pesos, cuantizada a int8 con su propia escala.
row = [0.30, -1.20, 0.07, 0.50]
biggest = 0
for x in row:
biggest = max(biggest, abs(x))
scale = biggest / 127
ints = []
for x in row:
ints.append(round(x / scale))
print("escala:", round(scale, 5))
print("valores int8:", ints)
back = []
for n in ints:
back.append(round(n * scale, 5))
print("de vuelta:", back)
# Cambia 0.07 por 0.004. ¿Qué le pasa?
Cuantiza el modelo entero y compara
El laboratorio cuantiza cada una de las cinco matrices de pesos del modelo, con una escala por fila. Imprime el error máximo de cada matriz y los bytes antes y después, escalas incluidas.
Luego hace la pregunta que importa: ¿sigue eligiendo el modelo el mismo carácter siguiente? Lo comprueba en cada posición de los 64 primeros caracteres de su texto y después escribe una respuesta de las dos maneras.
Cuantiza el modelo a int8
docker exec jupyter python3 steps/quantise.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Lo que imprimió la Ejecución
| Medida | Resultado |
|---|---|
| Bytes en float32 | 12108 |
| Bytes en int8, escalas incluidas | 3543 |
| Error máximo en un peso | de 0,00221 a 0,03771 |
| Mismo carácter siguiente | en 64 de 64 posiciones |
| Respuesta a "the cat ", de las dos maneras | sat on the mat. the dog |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
Un valor grande estropea una escala compartida
Con una sola escala para toda una matriz, el mayor valor de la matriz marca el salto entre niveles. Si un peso es mucho mayor que los demás, el salto se ensancha y los pesos pequeños pierden detalle.
Una escala por fila deja el daño en esa fila. El laboratorio pone un peso a 40 y mide el error medio de las dos maneras.
Una escala frente a una por fila
docker exec jupyter python3 steps/outlier.pySe muestra aquí y no se ejecuta. Pulsa Iniciar laboratorio para escribirlo en el terminal de tu propio laboratorio.
Ejemplo resuelto: error medio de la última matriz
| Matriz | Una escala | Una escala por fila |
|---|---|---|
| Tal como se entrenó | 0,0194 | 0,00617 |
| Con un valor puesto a 40 | 0,0782 | 0,00702 |
Las celdas que rellenan los estudiantes quedan en blanco en esta vista previa.
Un error frecuente
Advertencia
Mucha gente cree que int8 acelera un modelo porque las sumas con enteros son más rápidas. En la decodificación, la ganancia viene sobre todo de leer la cuarta parte de los bytes. Una máquina que pasa int8 a float32 para cada suma sigue leyendo menos, así que también se acelera.