Dentro de un bloque transformer

Un bloque transformer es la unidad con la que se construye un modelo de lenguaje, y un modelo apila ese mismo bloque muchas veces. Contiene una atención enmascarada con varias cabezas y luego una pequeña red para cada token. Unos atajos y un reajuste de escala rodean las dos partes.

Quien entiende un bloque entiende la forma del modelo entero.

Un modelo de lenguaje aprende a adivinar el token siguiente. Si un token pudiera mirar a los tokens de después, vería la respuesta.

Por eso una máscara causal deja que cada token mire solo a sí mismo y a los tokens anteriores. Un token posterior recibe un peso de 0. En la práctica, su puntuación pasa a menos infinito antes del softmax, porque e elevado a menos infinito vale 0.

import math

# scores[i][j]: cuánto encaja la consulta del token i con la clave del token j.
scores = [[1, 2, 0], [2, 1, 1], [0, 1, 3]]

for i in range(3):
    powers = []
    for j in range(3):
        if j <= i:
            powers.append(math.exp(scores[i][j]))
        else:
            # Un token posterior: enmascarado, no recibe ningún peso.
            powers.append(0)
    total = sum(powers)
    weights = []
    for p in powers:
        weights.append(round(p / total, 3))
    print("token", i, "pesos", weights)
# Cambia j <= i por True, para no enmascarar nada, y pulsa Ejecutar.
# ¿Cómo cambia la fila del primer token, y por qué es hacer trampa?

docker exec jupyter python3 -c "import numpy as np; S = np.array([[1, 2, 0], [2, 1, 1], [0, 1, 3]], dtype=float); S[np.triu(np.ones((3, 3), dtype=bool), 1)] = -np.inf; W = np.exp(S) / np.exp(S).sum(axis=1, keepdims=True); print(W.round(3).tolist())"

Un paso de atención solo mezcla de una manera. Por eso un bloque ejecuta varias cabezas en paralelo, cada una con sus propias tablas de consulta, clave y valor.

Una cabeza puede unir una palabra con la palabra anterior. Otra puede unir un adjetivo con el nombre que describe. Sus salidas se ponen una detrás de otra, y una última tabla aprendida las devuelve a la longitud habitual.

Después de la atención, cada token pasa solo por una pequeña etapa densa. Son dos capas con ReLU entre ellas, como en una red neuronal sencilla.

Una conexión residual suma la entrada de cada paso a su salida, así que no se pierde nada de lo ya sabido. La normalización reajusta cada vector: sus números quedan con media 0 y una dispersión estable. Las dos cosas mantienen entrenable una pila profunda.

docker exec jupyter python3 -c "import numpy as np; x = np.array([2.0, 4.0, 6.0]); print(x.mean(), ((x - x.mean()) / x.std()).round(2).tolist())"