クリーム色の背景、色付き表示、高コントラスト、大きな文字のほうが読みやすいですか?配色と文字を選ぶと、すべてのページに一度で反映されます。

無料レッスン

投機的デコードの仕組み

このレッスンのあとで: 投機的デコードで、ターゲットモデルがどのドラフトのトークンを採用するかを決められる。

60分のレッスンコマンド2件LLM 推論ラボ:CPU で動く小さな言語モデルで、KV キャッシュ、バッチ処理、int8 を学ぶ

小さなモデルに先に推測させる

投機的デコードとは、小さなドラフトモデルに次の数トークンを推測させて、言語モデルを速くする方法です。大きなモデルは、その推測を1回のパスでまとめて確かめます。

デコードはメモリ律速なので、数トークンをまとめて確かめても、1トークン作るのとほぼ同じコストです。だから、当たった推測はほとんどただのトークンになります。

このレッスンのゴール

メモ

投機的デコードで、ターゲットモデルがどのドラフトのトークンを採用するかを決められる。

キーワード

ことばいみ
ドラフトモデルトークンを推測する、小さくて速いモデル
ターゲットモデル答えとして採られる、大きなモデル
検証ターゲットの1パスで、いくつかの推測を確かめること
採用推測したトークンを残すこと
採用率推測のうち残した割合

学生が入力するセルは、このプレビューでは空白です。

安い推測と、高い確認1回

ドラフトモデルはとても小さいので、推測1つのコストはほぼゼロです。4つのトークンを続けて推測します。次にターゲットモデルが、プリフィルがプロンプトを読むように、その4つを1パスで読みます。

その1パスで、各推測の後のターゲット自身の選択が分かります。2つが一致した推測を残します。4トークンを読むパスのコストは、デコードの1パスとほぼ同じです。

ドラフトとターゲットを比べる

コマンド
docker exec jupyter python3 steps/draft.py

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

Run の表示

行意味
draft model: a table ... 361 numbers文から数えた、どの文字の次にどの文字が来るかの表
target model: the tiny transformer, 4355 numbers約12倍の大きさ
the draft guesses the target's choice 38 times最初の64か所のうち

学生が入力するセルは、このプレビューでは空白です。

最初の不一致までの推測を残す

貪欲法のデコードなら、規則は簡単です。各推測を、その場所でのターゲット自身の選択と比べます。一致している間は推測を残します。

最初に一致しなかったところで、その推測と後の推測を全部捨て、代わりにターゲット自身のトークンを採ります。4つとも一致したら、ターゲットのパスで5つ目のトークンもただで手に入ります。どちらにしても、1パスで少なくとも1トークン増えます。

試そう: どの推測が残るか

コード: python
# ドラフトが4文字を推測しました。ターゲットは1パスでそれを確かめました。
draft = "athe"
target = "at e."  # 各推測の前のターゲット自身の選択と、もう1つ
kept = 0
while kept < len(draft) and draft[kept] == target[kept]:
    kept = kept + 1
print("採用した推測:", kept)
print("ターゲットが足す文字:", repr(target[kept]))
# target を "athe " に変えて、4つとも一致させましょう。ターゲットは何を足しますか。

投機的デコードを実行する

コマンド
docker exec jupyter python3 steps/speculate.py

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

例: 最初のいくつかのラウンド

ドラフトの推測採用ターゲットが足した文字
"the "0"s"
"athe"2" "
" the"4" "
13ラウンド全体52のうち2132文字を13パスで

学生が入力するセルは、このプレビューでは空白です。

よくある間違い

注意

投機的デコードは品質を犠牲にして速くする、と考える人は多いです。採用したトークンはどれも、ターゲット自身が選んだはずのものなので、文は同じです。下手なドラフトは時間をむだにするだけです。推測は捨てられ、ターゲットが1パスに1トークンを足します。

サンプリングなら確率で残す

ターゲットが一番上のトークンを選ばずにサンプリングするときは、一致を見るだけでは足りません。推測したトークンに、ターゲットが確率 p、ドラフトが確率 q を与えたとします。p を q で割った確率で残し、p のほうが大きければ必ず残します。

捨てたときは、残りから引き直します。残りとは、各トークンの p から q を引いた値のうち0より大きいものを、合計が1になるように割ったものです。これでターゲット自身の確率がそのまま保たれます。

例: 3つのトークン

トークンターゲットの pドラフトの q残す確率残り
a0.50.70.7140
b0.30.210.5
c0.20.110.5

学生が入力するセルは、このプレビューでは空白です。

試そう: 推測を残す確率

コード: python
# ドラフトはトークンに確率 q を、ターゲットは確率 p を与えます。
p = 0.5
q = 0.7
if p >= q:
    keep = 1.0
else:
    keep = p / q
print("推測を採用する確率:", round(keep, 3))
# p = 0.3、q = 0.2 を試しましょう。いつも採用されるのはなぜですか。

このラボとソースについて: LLM 推論ラボ:CPU で動く小さな言語モデルで、KV キャッシュ、バッチ処理、int8 を学ぶ

授業で使いますか?このモジュールを学生に割り当てると、教員用ガイド、自動採点つきの課題、学生ごとのラボを使えます。