Glossaire de l’IA
Latence
La latence est le temps qu’un utilisateur attend une réponse ; pour un modèle de langage, on distingue le délai avant le premier token et le temps total.
Le délai avant le premier token est l’attente avant que quelque chose s’affiche. Le temps total inclut la génération de chaque token : une longue réponse prend plus de temps, même sur un modèle rapide.
La latence s’additionne d’étape en étape. Une réponse RAG qui calcule un plongement, cherche, reclasse puis appelle le modèle paie chacune ; une trace montre laquelle est lente.
Mesurez des centiles, pas des moyennes : la requête la plus lente sur vingt est celle dont les utilisateurs se souviennent.
L’apprendre par la pratique
Ces leçons gratuites l’enseignent avec des commandes à lancer dans un lab et des tâches corrigées. Elles se lisent en entier sans compte.