Glosario de IA
Transformer
Un transformer es la arquitectura de red neuronal de la mayoría de los modelos de lenguaje: una pila de bloques iguales donde cada token toma de los demás lo que necesita mediante la atención.
El texto entra como tokens, y cada token se convierte en un vector leído de una tabla de embeddings. Se le suma una señal de posición, porque la atención por sí sola no conoce el orden. Luego los vectores pasan por los bloques uno tras otro.
Cada bloque hace dos cosas: la atención, donde cada token mezcla una parte de los tokens que puede ver, y una pequeña capa feed-forward aplicada a cada token por separado. Las conexiones residuales y la normalización mantienen estables los números al apilar bloques.
Al final, el último vector da una puntuación a cada token del vocabulario, y el entrenamiento ajusta las tablas hasta que el token siguiente correcto puntúa más alto. Un modelo diminuto de una lección y uno grande tienen las mismas piezas; el grande tiene más bloques y tablas más anchas.
Un error común es imaginar un transformer como un almacén de frases leídas. Solo guarda los números de sus tablas, y por eso puede escribir una frase que nadie escribió antes y también afirmar algo falso.
Apréndelo con práctica
Estas lecciones gratuitas lo enseñan con órdenes para ejecutar en un laboratorio y tareas corregidas. Se leen completas sin cuenta.