AI用語集
レイテンシ
レイテンシとは、利用者が応答を待つ時間で、言語モデルでは最初のトークンまでの時間と全体の時間に分けて考えます。
最初のトークンまでの時間は、何かが表示されるまでの待ち時間です。全体の時間には返答のすべてのトークンの生成が含まれるので、速いモデルでも長い答えには時間がかかります。
レイテンシは手順ごとに積み重なります。埋め込み、検索、リランキング、モデル呼び出しを行うRAGはそれぞれの時間を払うので、トレースでどこが遅いかを見ます。
平均ではなくパーセンタイルで測りましょう。利用者が覚えているのは、二十回に一回の最も遅い応答です。
手を動かして学ぶ
これらの無料レッスンでは、ラボで実行するコマンドと採点される課題で学べます。アカウントなしで全文を読めます。