ローカルモデル

オープンウェイトを、多くは量子化してダウンロードし、推論サーバーで動かします。推論サーバーはホスト型サービスに近いAPIを提供するので、コードはほとんど変わりません。

得られるのは、プライバシー、版の管理、トークンごとの料金がないことです。代わりにハードウェア、自分での運用、そして多くの場合より小さなモデルという負担があります。

選ぶ前に計算しましょう。一日のほとんど使われずに置かれたマシンは、呼び出しごとに払うより高くつくことがあります。