Glosario de IA
Atención (mecanismo de atención)
La atención es el paso de un transformer en el que cada token puntúa los tokens que puede ver, convierte las puntuaciones en pesos y toma una mezcla ponderada de sus valores.
Cada token recibe tres vectores de tres tablas aprendidas: una consulta (lo que busca), una clave (lo que ofrece) y un valor (lo que transmite). Una consulta por una clave da una puntuación de lo bien que encajan.
Softmax convierte las puntuaciones en pesos positivos que suman 1, y el nuevo vector es la suma de cada valor por su peso. En un modelo de lenguaje, una máscara causal oculta los tokens posteriores, así que un token nunca ve el siguiente que aprende a adivinar.
Un bloque ejecuta varias cabezas en paralelo, cada una con sus tablas, para captar patrones distintos. Cada token se compara con todos los que ve, así que el trabajo crece con el cuadrado de la longitud: una razón por la que un prompt muy largo es lento.
Un error común es pensar que la atención elige un token e ignora el resto. Toma una parte de cada token visible; un peso alto solo significa una parte mayor.
Apréndelo con práctica
Estas lecciones gratuitas lo enseñan con órdenes para ejecutar en un laboratorio y tareas corregidas. Se leen completas sin cuenta.