Budget et coût en jetons d’un modèle

Empêcher une fonction de trop dépenser

Un budget pour une fonction à modèle transforme les jetons en argent et refuse un appel qui dépasserait une limite. C’est utile parce que le coût croît avec l’usage. Un utilisateur très actif ou une boucle peut dépenser un mois de budget en un après-midi.

Un modèle est facturé au jeton, et personne ne voit la facture avant la fin du mois. Une limite dans votre propre code est le seul frein qui agit tout de suite.

À la fin de cette leçon

Remarque

Je peux empêcher une fonction de trop dépenser, avec une limite par utilisateur, une limite par jour et un message clair.

Mots clés

Mot	Ce que ça veut dire
Jeton	l’unité que lit et écrit un modèle, et qui sert à facturer
Grille de prix	le coût d’un million de jetons, en entrée et en sortie
Limite par utilisateur	le maximum qu’un compte peut dépenser en un jour
Limite du jour	le maximum que toute la fonction peut dépenser en un jour
Registre	le relevé courant de ce qui a été dépensé
Refus	renvoyer un appel, avec une raison

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

Transformer des jetons en argent

Un modèle a deux prix : l’un pour les jetons en entrée, l’autre pour ceux en sortie, en général par million. Un appel coûte les jetons d’entrée fois le premier prix, plus les jetons de sortie fois le second.

N’utilisez jamais de virgule flottante pour l’argent. Comptez dans une petite unité entière. Ici, des euros par million de jetons veulent dire que chaque jeton coûte autant de micro-euros, donc les calculs restent entiers. Les prix de cette leçon sont inventés.

Exemple détaillé : deux appels

Modèle	Entrée	Sortie	Calcul	Coût
petit, prix 1 et 4	900	300	900 x 1 + 300 x 4	2100 micro-euros
grand, prix 10 et 40	200	100	200 x 10 + 100 x 40	6000 micro-euros

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

Vérifier une limite avant de facturer

Tenez un registre : le total de chaque utilisateur et le total du jour. Avant de facturer un appel, vérifiez-le. Refusez-le s’il fait dépasser sa limite à l’utilisateur, ou sa limite au jour. Un total exactement égal à une limite est permis.

Examinez la limite par utilisateur en premier, car son message est le plus utile. Un appel refusé n’est pas facturé. Et le refus dit pourquoi, avec des mots qu’une personne peut suivre.

Une erreur courante

Attention

Beaucoup pensent qu’une limite ne sert qu’aux abus, alors ils la fixent après le lancement. Les coûts grimpent aussi à cause d’un défaut, comme une boucle d’essais ou un long prompt envoyé à tous. Fixez les deux limites avant l’arrivée du premier utilisateur.