小さなモデルに先に推測させる
投機的デコードとは、小さなドラフトモデルに次の数トークンを推測させて、言語モデルを速くする方法です。大きなモデルは、その推測を1回のパスでまとめて確かめます。
デコードはメモリ律速なので、数トークンをまとめて確かめても、1トークン作るのとほぼ同じコストです。だから、当たった推測はほとんどただのトークンになります。
このレッスンのゴール
メモ
投機的デコードで、ターゲットモデルがどのドラフトのトークンを採用するかを決められる。
キーワード
| ことば | いみ |
|---|---|
| ドラフトモデル | トークンを推測する、小さくて速いモデル |
| ターゲットモデル | 答えとして採られる、大きなモデル |
| 検証 | ターゲットの1パスで、いくつかの推測を確かめること |
| 採用 | 推測したトークンを残すこと |
| 採用率 | 推測のうち残した割合 |
学生が入力するセルは、このプレビューでは空白です。
安い推測と、高い確認1回
ドラフトモデルはとても小さいので、推測1つのコストはほぼゼロです。4つのトークンを続けて推測します。次にターゲットモデルが、プリフィルがプロンプトを読むように、その4つを1パスで読みます。
その1パスで、各推測の後のターゲット自身の選択が分かります。2つが一致した推測を残します。4トークンを読むパスのコストは、デコードの1パスとほぼ同じです。
ドラフトとターゲットを比べる
docker exec jupyter python3 steps/draft.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
Run の表示
| 行 | 意味 |
|---|---|
| draft model: a table ... 361 numbers | 文から数えた、どの文字の次にどの文字が来るかの表 |
| target model: the tiny transformer, 4355 numbers | 約12倍の大きさ |
| the draft guesses the target's choice 38 times | 最初の64か所のうち |
学生が入力するセルは、このプレビューでは空白です。
最初の不一致までの推測を残す
貪欲法のデコードなら、規則は簡単です。各推測を、その場所でのターゲット自身の選択と比べます。一致している間は推測を残します。
最初に一致しなかったところで、その推測と後の推測を全部捨て、代わりにターゲット自身のトークンを採ります。4つとも一致したら、ターゲットのパスで5つ目のトークンもただで手に入ります。どちらにしても、1パスで少なくとも1トークン増えます。
試そう: どの推測が残るか
# ドラフトが4文字を推測しました。ターゲットは1パスでそれを確かめました。
draft = "athe"
target = "at e." # 各推測の前のターゲット自身の選択と、もう1つ
kept = 0
while kept < len(draft) and draft[kept] == target[kept]:
kept = kept + 1
print("採用した推測:", kept)
print("ターゲットが足す文字:", repr(target[kept]))
# target を "athe " に変えて、4つとも一致させましょう。ターゲットは何を足しますか。
投機的デコードを実行する
docker exec jupyter python3 steps/speculate.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
例: 最初のいくつかのラウンド
| ドラフトの推測 | 採用 | ターゲットが足した文字 |
|---|---|---|
| "the " | 0 | "s" |
| "athe" | 2 | " " |
| " the" | 4 | " " |
| 13ラウンド全体 | 52のうち21 | 32文字を13パスで |
学生が入力するセルは、このプレビューでは空白です。
よくある間違い
注意
投機的デコードは品質を犠牲にして速くする、と考える人は多いです。採用したトークンはどれも、ターゲット自身が選んだはずのものなので、文は同じです。下手なドラフトは時間をむだにするだけです。推測は捨てられ、ターゲットが1パスに1トークンを足します。
サンプリングなら確率で残す
ターゲットが一番上のトークンを選ばずにサンプリングするときは、一致を見るだけでは足りません。推測したトークンに、ターゲットが確率 p、ドラフトが確率 q を与えたとします。p を q で割った確率で残し、p のほうが大きければ必ず残します。
捨てたときは、残りから引き直します。残りとは、各トークンの p から q を引いた値のうち0より大きいものを、合計が1になるように割ったものです。これでターゲット自身の確率がそのまま保たれます。
例: 3つのトークン
| トークン | ターゲットの p | ドラフトの q | 残す確率 | 残り |
|---|---|---|---|---|
| a | 0.5 | 0.7 | 0.714 | 0 |
| b | 0.3 | 0.2 | 1 | 0.5 |
| c | 0.2 | 0.1 | 1 | 0.5 |
学生が入力するセルは、このプレビューでは空白です。
試そう: 推測を残す確率
# ドラフトはトークンに確率 q を、ターゲットは確率 p を与えます。
p = 0.5
q = 0.7
if p >= q:
keep = 1.0
else:
keep = p / q
print("推測を採用する確率:", round(keep, 3))
# p = 0.3、q = 0.2 を試しましょう。いつも採用されるのはなぜですか。