AI用語集
ストリーミング
ストリーミングとは、モデルの返答を生成しながら少しずつ送ることで、利用者は返答全体を待たずに最初の言葉をすぐ見られます。
多くのAPIはServer-Sent Eventsでストリーミングします。接続は開いたままで、イベントごとに次のトークンが届き、ページはそれを順に付け足します。
ストリーミングでモデルが速くなるわけではありません。書いている間に読み始められるので、待ち時間が短く感じられるのです。
人が読む文章はストリーミングしましょう。コードで解析するJSONは、返答全体を待つほうがたいてい簡単です。
手を動かして学ぶ
これらの無料レッスンでは、ラボで実行するコマンドと採点される課題で学べます。アカウントなしで全文を読めます。