最初の1語がいちばん遅いのはなぜ
LLM の推論とは、学習済みの言語モデルが答えを作る仕事のことです。2つの段階があります。プリフィルでプロンプト全体を読み、デコードで答えを1トークンずつ書きます。
2つの段階は、コンピューターの使い方がまったく違います。どちらが遅く、なぜ遅いのかを知ることが、このモジュールのすべての高速化の出発点です。
このレッスンのゴール
メモ
プリフィルは違うのに、デコードはメモリの読み出しで速さが決まる理由を説明できる。
キーワード
| ことば | いみ |
|---|---|
| 推論 | 学習済みのモデルを動かして出力を得ること |
| パス | いくつかのトークンに対して、モデルを1回通すこと |
| プリフィル | 最初のパス。プロンプト全体を読む |
| デコード | その後のパス。1回に新しいトークンを1つ作る |
| 積和 | 掛け算1回と足し算1回。モデルの仕事の単位 |
| メモリ律速 | 計算ではなく、メモリの読み出しで速さが決まること |
学生が入力するセルは、このプレビューでは空白です。
生成はパスの繰り返し
モデルが答える問いは1つだけです。「次に来るのは何か」です。返答を書くには、これを繰り返します。最初のパスはプロンプトを読み、最初の新しいトークンを出します。これがプリフィルです。
その後のパスは、直前に作ったトークンを読み、もう1つ出します。これがデコードです。100トークンの返答には、プリフィル1回とデコード99回が要ります。
プリフィルとデコードを見る
docker exec jupyter python3 steps/generate.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
Run の表示
| 行 | 意味 |
|---|---|
| prefill: read 12 tokens of the prompt in one pass | "the cat sat " の12文字を1回で読んだ |
| decode step 1 chose 'o' | 最初の新しい文字 |
| decode step 10 chose 't' | 文が "the cat sat on the mat" になった |
学生が入力するセルは、このプレビューでは空白です。
試そう: パスを数える
# モデルの代わり: どの単語の次にどの単語が来るかの表です。
NEXT = {"the": "cat", "cat": "sat", "sat": "on", "on": "the"}
prompt = ["the", "dog", "sat"]
passes = 1 # プリフィルはプロンプト全体を1パスで読みます
words = [NEXT[prompt[-1]]]
while len(words) < 5:
passes = passes + 1 # デコードは1パスで新しい単語を1つ読みます
words.append(NEXT[words[-1]])
print("新しい単語:", words)
print("パスの数:", passes)
# 5 を 10 に変えましょう。パスはいくつになりますか。
どのパスもすべての重みを読む
モデルの大部分は、重みと呼ぶ大きな数の表です。1回のパスで、そのすべてをメモリから読まなければなりません。読むトークン1つにつき、重み1つあたり約1回の積和をします。
プリフィルはプロンプト全体のために重みを1回読みます。24トークンのプロンプトなら、1回の読み出しで24トークン分の仕事をします。デコードは、1トークン分の仕事のために、また全部の重みを読みます。
段階ごとの仕事を数える
docker exec jupyter python3 steps/phases.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
例: ラボでの2つの段階
| 段階 | パス | 積和 | 読んだバイト | 1バイトあたりの仕事 |
|---|---|---|---|---|
| プリフィル、24トークン | 1 | 30,291 | 50,508 | 0.6 |
| デコード、24トークン | 24 | 100,680 | 402,720 | 0.2 |
学生が入力するセルは、このプレビューでは空白です。
よくある間違い
注意
デコードが遅いのは計算が多いからだ、と考える人は多いです。実はデコードの1パスの計算は、プリフィルより少ないのです。遅いのは、1トークンを作るために毎回すべての重みを読むからです。計算の回数だけでなく、1パスで何バイト読むかを考えましょう。
メモリの速さがデコードの上限
大きなモデルには数十億の重みがあります。7B のモデルなら70億です。1つ2バイトなら、デコードの1パスごとに 14 GB を読みます。
メモリが毎秒 50 GB を読めるなら、計算がどれほど速くても、最高で毎秒約3.6パスです。これがメモリ律速です。このラボのモデルはわずか 12 KB なので、数えた値は形を見せるだけで、実際の速さではありません。
試そう: デコードの最高速度
# デコードの1パスはすべての重みを1回読むので、メモリが最高速度を決めます。
READ_GB_PER_SECOND = 50
models = [["7B、2バイト", 7, 2], ["7B、1バイト", 7, 1], ["1B、2バイト", 1, 2]]
for name, billions, bytes_each in models:
gb_per_pass = billions * bytes_each
best = READ_GB_PER_SECOND / gb_per_pass
print(name, ": 1パスで", gb_per_pass, "GB を読み、最高で毎秒", round(best, 1), "トークン")
# READ_GB_PER_SECOND を 100 に変えましょう。どの速度もどうなりますか。