レート制限

モデルのAPIは、一分あたりのリクエスト数とトークン数の両方を制限することがよくあります。拒否された呼び出しは多くの場合ステータス429で返り、再試行までの時間が示されることもあります。

一般的な対応は、指数的に待ち時間を延ばし、少しランダムさを加えて再試行することです。多くのクライアントが同時に再試行するのを避けられます。

自分でも上限を設けましょう。バグのあるループは一か月分の予算を一時間で使い切ることがあり、利用者ごとの上限はほかの全員を守ります。