AI用語集
推論（インファレンス）
推論とは、学習とは別に、学習済みのモデルを動かして入力から出力を得ることで、APIの呼び出しやローカルでの実行はすべて推論です。
言語モデルの推論は二段階です。プロンプト全体を一度に読み、次に返答を一トークンずつ作ります。前者が最初の一語までの待ち時間を、後者がその後の速さを決めます。
推論の費用はモデルの大きさと入出力のトークン数に応じて増えるので、小さなモデル、短いプロンプト、キャッシュで請求額を大きく減らせます。
学習は一度きりですが、推論はリクエストのたびに起きます。多くの製品では、運用費用を決めるのは推論です。
手を動かして学ぶ
これらの無料レッスンでは、ラボで実行するコマンドと採点される課題で学べます。アカウントなしで全文を読めます。