AI用語集
カナリアリリース
カナリアリリースとは、新しいモデルやプロンプトに実際のトラフィックの一部だけをまず送り、品質とエラーが決めた範囲に収まるときだけ広げる方法です。
リクエストの5パーセントを新しい版に、残りを古い版に送ります。エラー率、費用、レイテンシ、品質のシグナルを両者で比べます。
何を失敗とし、そのとき何をするかを前もって決めておけば、元に戻すのは会議ではなくスイッチ一つで済みます。
カナリアは、利用者の言い回しの違いのように、オフラインの評価で見逃したものを捕まえます。評価の代わりではなく、二つ目の確認です。