Glossaire de l’IA
Transformer
Un transformer est l’architecture de réseau de neurones de la plupart des modèles de langage : une pile de blocs identiques où chaque token prend aux autres ce dont il a besoin, par l’attention.
Le texte entre sous forme de tokens, et chaque token devient un vecteur lu dans une table d’embeddings. On y ajoute un signal de position, car l’attention seule ignore l’ordre. Les vecteurs traversent ensuite les blocs l’un après l’autre.
Chaque bloc fait deux choses : l’attention, où chaque token mélange une part des tokens qu’il peut voir, puis une petite couche feed-forward appliquée à chaque token séparément. Les connexions résiduelles et la normalisation gardent des nombres stables quand on empile les blocs.
À la fin, le dernier vecteur donne un score à chaque token du vocabulaire, et l’entraînement ajuste les tables jusqu’à ce que le bon token suivant ait le meilleur score. Un petit modèle de leçon et un grand ont les mêmes pièces ; le grand a plus de blocs et des tables plus larges.
Une erreur courante est d’imaginer un transformer comme un stock de phrases déjà lues. Il ne garde que les nombres de ses tables : c’est pourquoi il peut écrire une phrase inédite, et aussi affirmer quelque chose de faux.
L’apprendre par la pratique
Ces leçons gratuites l’enseignent avec des commandes à lancer dans un lab et des tâches corrigées. Elles se lisent en entier sans compte.