モデルルーティング

ルーターは「短い質問は小さなモデルへ」のような単純なルールのこともあれば、リクエストの難しさを予測する分類器のこともあります。

ルーティングはフォールバックとセットです。あるモデルがタイムアウトしたり拒否したりしたら、別のモデルに回して機能を止めません。

ルートごとに評価が必要です。ある種類のリクエストで静かに失敗する安いモデルは、お金を節約する代わりに信頼を失います。