クリーム色の背景、色付き表示、高コントラスト、大きな文字のほうが読みやすいですか?配色と文字を選ぶと、すべてのページに一度で反映されます。

無料レッスン

LLM のレイテンシとスループットを測る

このレッスンのあとで: トークンの時刻から、最初のトークンまでの時間と毎秒トークン数を求めることができる。

60分のレッスンコマンド1件LLM 推論ラボ:CPU で動く小さな言語モデルで、KV キャッシュ、バッチ処理、int8 を学ぶ

ごまかしやすい2つの数

LLM のレイテンシを測るとは、ユーザーが最初のトークンまでどれだけ待ち、残りがどれだけ速く届くかを計ることです。よく使う2つの数が、最初のトークンまでの時間と、毎秒トークン数です。

どちらの数も、実際より良く見せるのは簡単です。時計をどこで始め、どのトークンを数えるかで、どんな高速化よりも大きく変わります。

このレッスンのゴール

メモ

トークンの時刻から、最初のトークンまでの時間と毎秒トークン数を求めることができる。

キーワード

ことばいみ
レイテンシ人が待つ時間の長さ
最初のトークンまでの時間リクエストを送ってから最初のトークンまでの待ち時間
毎秒トークン数出力トークンの数を、かかった秒数で割ったもの
トークン間の間隔返答の中の、2つのトークンの間の時間
ウォームアップ準備のために読み込みをする、遅い最初の1回
中央値値を並べたときの真ん中の値

学生が入力するセルは、このプレビューでは空白です。

リクエストが届いた時に時計を始める

最初のトークンまでの時間は、ユーザーが「動いているのかな」と感じる時間です。リクエストが届いてから最初のトークンまでの時間です。キューでの待ち、プリフィルのパス、最初のデコードのステップを含みます。

作業を始めた時に時計を始めるサーバーは、キューを隠しています。混んだサーバーでは、待ち時間の大半がキューのこともあります。

1つのリクエストから数値を求める

コマンド
docker exec jupyter python3 steps/latency.py

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

例: 模擬の時計での1つのリクエスト

測ったもの値正直か
最初のトークンまでの時間、到着から345 msはい
最初のトークンまでの時間、作業開始から225 msいいえ、キューの120 ms を隠す
デコードの速さ、最初のトークンの後毎秒40.0トークンはい、デコードについて
リクエスト全体、出力トークンだけ毎秒31.8トークンはい、ユーザーにとって
プロンプトを出力として数える毎秒286.6トークンいいえ

学生が入力するセルは、このプレビューでは空白です。

モデルが書いたトークンだけを数える

デコードの速さは、最初の後の出力トークンを、最初のトークンから最後のトークンまでの時間で割ったものです。ここでは1.225秒で49トークン、毎秒40.0です。

リクエスト全体の速さは、50の出力トークン全部を到着からの時間で割ったもので、毎秒31.8です。どちらも正直で、答える問いが違います。どちらを報告するかを書きましょう。

よくある間違い

注意

モデルが処理したのだからと、プロンプトのトークンも毎秒トークン数に数える人は多いです。ここではそれで31.8が286.6になりました。プロンプトのトークンは速い1パスで読まれます。出力の毎秒トークン数を報告し、プロンプトの長さを横に書きましょう。

実際の時計にはウォームアップと繰り返し

実際のタイマーは、実行するたびに違う数を出します。最初の1回は、コードやデータを読み込むので遅いことがよくあります。1回だけ、ほかのプログラムの影響を受けることもあります。

だから、1回ウォームアップして、それは捨てます。何回か繰り返し、変わった1回に引きずられない中央値を報告します。マシンと設定も書きましょう。別のマシンでは別の数になるからです。

試そう: 平均と中央値

コード: python
# 同じリクエストを8回測った時間、ミリ秒。最初の1回は温まっていませんでした。
runs = [41.0, 12.5, 12.1, 13.0, 12.4, 30.2, 12.6, 12.3]
total = 0
for one in runs:
    total = total + one
print("全部の平均:", round(total / len(runs), 2))
warm = sorted(runs[1:])
print("温まった回の真ん中:", warm[len(warm) // 2])
# 30.2 を 300 に変えましょう。動くのはどちらで、動かないのはどちらですか。

小さなモデルを本当に測る

ラボで JupyterLab を開き、ノートブック start.ipynb の Real timings の下のセルを実行します。プリフィル、デコードの1ステップ、3つのバッチの大きさを、実際の時計で測ります。先にウォームアップし、7回繰り返して、真ん中の値を表示します。

あなたの数は、隣の人とも、次の実行とも違います。だから steps のスクリプトは、時間ではなく仕事を数えるのです。

このラボとソースについて: LLM 推論ラボ:CPU で動く小さな言語モデルで、KV キャッシュ、バッチ処理、int8 を学ぶ

授業で使いますか?このモジュールを学生に割り当てると、教員用ガイド、自動採点つきの課題、学生ごとのラボを使えます。