Glossaire de l’IA
Inférence
L’inférence est l’exécution d’un modèle entraîné pour produire une sortie à partir d’une entrée, par opposition à l’entraînement ; c’est ce que fait chaque appel.
Pour un modèle de langage, l’inférence a deux temps : lire tout le prompt d’un coup, puis générer la réponse token par token. Le premier fixe l’attente avant le premier mot, le second la vitesse de la suite.
Son coût croît avec la taille du modèle et le nombre de tokens : un modèle plus petit, un prompt plus court ou un cache peuvent fortement réduire la facture.
L’entraînement a lieu une fois ; l’inférence à chaque requête. Pour la plupart des produits, c’est elle qui fait le coût de fonctionnement.
L’apprendre par la pratique
Ces leçons gratuites l’enseignent avec des commandes à lancer dans un lab et des tâches corrigées. Elles se lisent en entier sans compte.