Glossaire de l’IA
Attention (mécanisme d’attention)
L’attention est l’étape d’un transformer où chaque token note les tokens qu’il peut voir, transforme ces notes en poids et prend un mélange pondéré de leurs valeurs.
Chaque token reçoit trois vecteurs tirés de trois tables apprises : une requête (ce qu’il cherche), une clé (ce qu’il offre) et une valeur (ce qu’il transmet). Le produit d’une requête et d’une clé donne un score de correspondance.
Le softmax transforme les scores en poids positifs dont la somme fait 1, et le nouveau vecteur est la somme des valeurs multipliées par leur poids. Dans un modèle de langage, un masque causal cache les tokens suivants : un token ne voit jamais celui qu’il apprend à deviner.
Un bloc fait tourner plusieurs têtes côte à côte, chacune avec ses tables, pour repérer des motifs différents. Chaque token se compare à tous ceux qu’il voit, donc le travail croît comme le carré de la longueur : une raison pour laquelle un très long prompt est lent.
Une erreur courante est de croire que l’attention choisit un token et ignore les autres. Elle prend une part de chaque token visible ; un poids élevé veut seulement dire une plus grande part.
L’apprendre par la pratique
Ces leçons gratuites l’enseignent avec des commandes à lancer dans un lab et des tâches corrigées. Elles se lisent en entier sans compte.