AIの比較
ローカルモデルとAPIの違い
ローカルモデルはハードウェアと運用の手間と引き換えにデータと版を自分で管理でき、ホスト型APIはサーバーなしで大きなモデルをトークン単位の料金で使えます。
| 観点 | ローカルモデル | ホスト型API |
|---|---|---|
| データの行き先 | 自分のマシンに残る | 提供元に送られる |
| 費用の形 | ハードウェアと電気代、使わなくてもかかる | トークン単位、使ったときだけ |
| モデルの大きさ | 手元のメモリで決まる | 最大のものまで選べる |
| 版の変更 | 自分が変えたときだけ | 提供元がモデルを更新、廃止したとき |
ローカルモデルを選ぶとき
- データを自社のネットワークから出せない
- 利用が安定して多く、ハードウェアを遊ばせない
- 長い期間、版を固定したい
ホスト型APIを選ぶとき
- 最も強力なモデルが必要
- 利用が少ない、または波がある
- 推論サーバーを運用したくない
手を動かして学ぶ
これらの無料レッスンでは、ラボで実行するコマンドと採点される課題で学べます。アカウントなしで全文を読めます。