Glossaire de l’IA
Token
Un token est le morceau de texte avec lequel un modèle de langage lit et écrit : souvent un bout de mot, un mot court entier ou un signe de ponctuation.
Avant que le modèle voie votre prompt, un tokeniseur le découpe en tokens et donne un numéro à chacun. « anticonstitutionnellement » fait plusieurs tokens, « chat » souvent un seul.
C’est en tokens que l’on paie et que l’on est limité : une API facture les tokens envoyés et reçus, et la fenêtre de contexte se mesure en tokens. Les compter avant l’appel permet de tenir un budget.
Le français et le code prennent souvent plus de tokens par mot que l’anglais : un budget calculé sur un texte anglais peut ne pas suffire pour le même contenu en français.
L’apprendre par la pratique
Ces leçons gratuites l’enseignent avec des commandes à lancer dans un lab et des tâches corrigées. Elles se lisent en entier sans compte.