クリーム色の背景、色付き表示、高コントラスト、大きな文字のほうが読みやすいですか?配色と文字を選ぶと、すべてのページに一度で反映されます。

無料レッスン

LLM 推論のプリフィルとデコード

このレッスンのあとで: プリフィルは違うのに、デコードはメモリの読み出しで速さが決まる理由を説明できる。

60分のレッスンコマンド2件LLM 推論ラボ:CPU で動く小さな言語モデルで、KV キャッシュ、バッチ処理、int8 を学ぶ

最初の1語がいちばん遅いのはなぜ

LLM の推論とは、学習済みの言語モデルが答えを作る仕事のことです。2つの段階があります。プリフィルでプロンプト全体を読み、デコードで答えを1トークンずつ書きます。

2つの段階は、コンピューターの使い方がまったく違います。どちらが遅く、なぜ遅いのかを知ることが、このモジュールのすべての高速化の出発点です。

このレッスンのゴール

メモ

プリフィルは違うのに、デコードはメモリの読み出しで速さが決まる理由を説明できる。

キーワード

ことばいみ
推論学習済みのモデルを動かして出力を得ること
パスいくつかのトークンに対して、モデルを1回通すこと
プリフィル最初のパス。プロンプト全体を読む
デコードその後のパス。1回に新しいトークンを1つ作る
積和掛け算1回と足し算1回。モデルの仕事の単位
メモリ律速計算ではなく、メモリの読み出しで速さが決まること

学生が入力するセルは、このプレビューでは空白です。

生成はパスの繰り返し

モデルが答える問いは1つだけです。「次に来るのは何か」です。返答を書くには、これを繰り返します。最初のパスはプロンプトを読み、最初の新しいトークンを出します。これがプリフィルです。

その後のパスは、直前に作ったトークンを読み、もう1つ出します。これがデコードです。100トークンの返答には、プリフィル1回とデコード99回が要ります。

プリフィルとデコードを見る

コマンド
docker exec jupyter python3 steps/generate.py

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

Run の表示

行意味
prefill: read 12 tokens of the prompt in one pass"the cat sat " の12文字を1回で読んだ
decode step 1 chose 'o'最初の新しい文字
decode step 10 chose 't'文が "the cat sat on the mat" になった

学生が入力するセルは、このプレビューでは空白です。

試そう: パスを数える

コード: python
# モデルの代わり: どの単語の次にどの単語が来るかの表です。
NEXT = {"the": "cat", "cat": "sat", "sat": "on", "on": "the"}

prompt = ["the", "dog", "sat"]
passes = 1  # プリフィルはプロンプト全体を1パスで読みます
words = [NEXT[prompt[-1]]]
while len(words) < 5:
    passes = passes + 1  # デコードは1パスで新しい単語を1つ読みます
    words.append(NEXT[words[-1]])
print("新しい単語:", words)
print("パスの数:", passes)
# 5 を 10 に変えましょう。パスはいくつになりますか。

どのパスもすべての重みを読む

モデルの大部分は、重みと呼ぶ大きな数の表です。1回のパスで、そのすべてをメモリから読まなければなりません。読むトークン1つにつき、重み1つあたり約1回の積和をします。

プリフィルはプロンプト全体のために重みを1回読みます。24トークンのプロンプトなら、1回の読み出しで24トークン分の仕事をします。デコードは、1トークン分の仕事のために、また全部の重みを読みます。

段階ごとの仕事を数える

コマンド
docker exec jupyter python3 steps/phases.py

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

例: ラボでの2つの段階

段階パス積和読んだバイト1バイトあたりの仕事
プリフィル、24トークン130,29150,5080.6
デコード、24トークン24100,680402,7200.2

学生が入力するセルは、このプレビューでは空白です。

よくある間違い

注意

デコードが遅いのは計算が多いからだ、と考える人は多いです。実はデコードの1パスの計算は、プリフィルより少ないのです。遅いのは、1トークンを作るために毎回すべての重みを読むからです。計算の回数だけでなく、1パスで何バイト読むかを考えましょう。

メモリの速さがデコードの上限

大きなモデルには数十億の重みがあります。7B のモデルなら70億です。1つ2バイトなら、デコードの1パスごとに 14 GB を読みます。

メモリが毎秒 50 GB を読めるなら、計算がどれほど速くても、最高で毎秒約3.6パスです。これがメモリ律速です。このラボのモデルはわずか 12 KB なので、数えた値は形を見せるだけで、実際の速さではありません。

試そう: デコードの最高速度

コード: python
# デコードの1パスはすべての重みを1回読むので、メモリが最高速度を決めます。
READ_GB_PER_SECOND = 50

models = [["7B、2バイト", 7, 2], ["7B、1バイト", 7, 1], ["1B、2バイト", 1, 2]]
for name, billions, bytes_each in models:
    gb_per_pass = billions * bytes_each
    best = READ_GB_PER_SECOND / gb_per_pass
    print(name, ": 1パスで", gb_per_pass, "GB を読み、最高で毎秒", round(best, 1), "トークン")
# READ_GB_PER_SECOND を 100 に変えましょう。どの速度もどうなりますか。

このラボとソースについて: LLM 推論ラボ:CPU で動く小さな言語モデルで、KV キャッシュ、バッチ処理、int8 を学ぶ

授業で使いますか?このモジュールを学生に割り当てると、教員用ガイド、自動採点つきの課題、学生ごとのラボを使えます。