Glossaire de l’IA
Limite de débit
Une limite de débit plafonne le nombre de requêtes ou de tokens envoyés à une API sur une période ; au-delà, les requêtes sont refusées jusqu’à la période suivante.
Les API de modèles limitent souvent les requêtes et les tokens par minute. Un appel refusé revient en général avec le statut 429, parfois avec le délai à attendre.
La réponse habituelle est de réessayer avec un délai exponentiel et un peu de hasard, pour que tous les clients ne réessaient pas au même instant.
Fixez aussi vos propres limites : une boucle boguée peut dépenser le budget d’un mois en une heure, et une limite par utilisateur protège tous les autres.
L’apprendre par la pratique
Ces leçons gratuites l’enseignent avec des commandes à lancer dans un lab et des tâches corrigées. Elles se lisent en entier sans compte.