ごまかしやすい2つの数
LLM のレイテンシを測るとは、ユーザーが最初のトークンまでどれだけ待ち、残りがどれだけ速く届くかを計ることです。よく使う2つの数が、最初のトークンまでの時間と、毎秒トークン数です。
どちらの数も、実際より良く見せるのは簡単です。時計をどこで始め、どのトークンを数えるかで、どんな高速化よりも大きく変わります。
このレッスンのゴール
メモ
トークンの時刻から、最初のトークンまでの時間と毎秒トークン数を求めることができる。
キーワード
| ことば | いみ |
|---|---|
| レイテンシ | 人が待つ時間の長さ |
| 最初のトークンまでの時間 | リクエストを送ってから最初のトークンまでの待ち時間 |
| 毎秒トークン数 | 出力トークンの数を、かかった秒数で割ったもの |
| トークン間の間隔 | 返答の中の、2つのトークンの間の時間 |
| ウォームアップ | 準備のために読み込みをする、遅い最初の1回 |
| 中央値 | 値を並べたときの真ん中の値 |
学生が入力するセルは、このプレビューでは空白です。
リクエストが届いた時に時計を始める
最初のトークンまでの時間は、ユーザーが「動いているのかな」と感じる時間です。リクエストが届いてから最初のトークンまでの時間です。キューでの待ち、プリフィルのパス、最初のデコードのステップを含みます。
作業を始めた時に時計を始めるサーバーは、キューを隠しています。混んだサーバーでは、待ち時間の大半がキューのこともあります。
1つのリクエストから数値を求める
docker exec jupyter python3 steps/latency.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
例: 模擬の時計での1つのリクエスト
| 測ったもの | 値 | 正直か |
|---|---|---|
| 最初のトークンまでの時間、到着から | 345 ms | はい |
| 最初のトークンまでの時間、作業開始から | 225 ms | いいえ、キューの120 ms を隠す |
| デコードの速さ、最初のトークンの後 | 毎秒40.0トークン | はい、デコードについて |
| リクエスト全体、出力トークンだけ | 毎秒31.8トークン | はい、ユーザーにとって |
| プロンプトを出力として数える | 毎秒286.6トークン | いいえ |
学生が入力するセルは、このプレビューでは空白です。
モデルが書いたトークンだけを数える
デコードの速さは、最初の後の出力トークンを、最初のトークンから最後のトークンまでの時間で割ったものです。ここでは1.225秒で49トークン、毎秒40.0です。
リクエスト全体の速さは、50の出力トークン全部を到着からの時間で割ったもので、毎秒31.8です。どちらも正直で、答える問いが違います。どちらを報告するかを書きましょう。
よくある間違い
注意
モデルが処理したのだからと、プロンプトのトークンも毎秒トークン数に数える人は多いです。ここではそれで31.8が286.6になりました。プロンプトのトークンは速い1パスで読まれます。出力の毎秒トークン数を報告し、プロンプトの長さを横に書きましょう。
実際の時計にはウォームアップと繰り返し
実際のタイマーは、実行するたびに違う数を出します。最初の1回は、コードやデータを読み込むので遅いことがよくあります。1回だけ、ほかのプログラムの影響を受けることもあります。
だから、1回ウォームアップして、それは捨てます。何回か繰り返し、変わった1回に引きずられない中央値を報告します。マシンと設定も書きましょう。別のマシンでは別の数になるからです。
試そう: 平均と中央値
# 同じリクエストを8回測った時間、ミリ秒。最初の1回は温まっていませんでした。
runs = [41.0, 12.5, 12.1, 13.0, 12.4, 30.2, 12.6, 12.3]
total = 0
for one in runs:
total = total + one
print("全部の平均:", round(total / len(runs), 2))
warm = sorted(runs[1:])
print("温まった回の真ん中:", warm[len(warm) // 2])
# 30.2 を 300 に変えましょう。動くのはどちらで、動かないのはどちらですか。
小さなモデルを本当に測る
ラボで JupyterLab を開き、ノートブック start.ipynb の Real timings の下のセルを実行します。プリフィル、デコードの1ステップ、3つのバッチの大きさを、実際の時計で測ります。先にウォームアップし、7回繰り返して、真ん中の値を表示します。
あなたの数は、隣の人とも、次の実行とも違います。だから steps のスクリプトは、時間ではなく仕事を数えるのです。