同じ文を2回読むのはなぜ
KV キャッシュとは、言語モデルがすでに読んだトークンのキーとバリューをためておく場所です。新しいトークンのたびに文全体を読み直さずに済みます。
キャッシュがないと、長い返答は1語ごとに遅くなります。キャッシュがあれば1トークンの仕事は小さいままです。その代わりにメモリを使います。
このレッスンのゴール
メモ
KV キャッシュが省く仕事の量と、使うメモリの量を計算できる。
キーワード
| ことば | いみ |
|---|---|
| キー | トークンがアテンションに差し出すもの |
| バリュー | トークンがアテンションを通して渡すもの |
| KV キャッシュ | 前のトークンのキーとバリューをためたもの |
| 行 | 1つの層での、1トークンのキーとバリュー |
| 層 | モデルの1つのブロック。層ごとにキャッシュがある |
| コンテキスト長 | モデルが一度に読めるトークンの数 |
学生が入力するセルは、このプレビューでは空白です。
前のキーとバリューは変わらない
アテンションでは、新しいトークンが自分のクエリを、前のすべてのトークンのキーと比べます。そして、それらのバリューを混ぜます。トークンは後ろしか見ないので、前のトークンのキーとバリューは一度作ると変わりません。
キャッシュがないと、パスのたびに全部を初めから計算し直します。KV キャッシュがあれば、各パスは新しいトークンのキーとバリューだけを計算し、ためておく場所に足します。
キャッシュありとなしで生成
docker exec jupyter python3 steps/cache.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
例: 12文字のプロンプトの後の32文字
| 方法 | 文 | キーとバリューの行 | 積和 |
|---|---|---|---|
| キャッシュなし | on the mat. the dog sathe sat ar | 880 | 1,193,056 |
| KV キャッシュ | on the mat. the dog sathe sat ar | 43 | 135,584 |
学生が入力するセルは、このプレビューでは空白です。
キャッシュなしでは仕事が増え続ける
1回目のパスはプロンプトの12トークンを読みます。2回目は13、32回目は43です。行を合計すると880になります。キャッシュがあれば、プロンプトの12行の後は1パスに1行なので、43です。
返答が長いほど、差は大きくなります。キャッシュなしで返答を2倍にすると、仕事は2倍より多くなります。
試そう: キャッシュなしの行を数える
# i 回目のパスは、プロンプトとそれまでに作った i 個のトークンを読みます。キャッシュがなければ。
prompt = 12
new = 32
rows = 0
for i in range(new):
rows = rows + prompt + i
print("キャッシュなしで計算した行:", rows)
# new を 64 に変えましょう。合計は2倍ですか、それとも2倍より多いですか。
よくある間違い
注意
KV キャッシュは Web のキャッシュのように過去の答えをためるので、同じ質問ならただになる、と考える人は多いです。ためるのは、この1つのリクエストのトークンのキーとバリューです。プリフィルの間に作られ、リクエストが終わると捨てられます。
キャッシュはトークンごとにメモリを使う
トークンはそれぞれ、すべての層でキーとバリューを1つずつ持ちます。ラボのモデルでは16個の数のリストが2つで、1つ4バイトなので、1トークン128バイトです。
実際のモデルには層もヘッドもたくさんあります。32層、幅128のキー・バリューのヘッドが8つ、数が2バイトなら、1トークン131,072バイト、128 KB です。8000トークンで約 1 GB、それも1人分です。
キャッシュがたまる様子を見る
docker exec jupyter python3 steps/cachemem.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
試そう: 実際のキャッシュの大きさ
# キーとバリューの2つを、すべての層、すべてのキー・バリューのヘッドで持ちます。
layers = 32
kv_heads = 8
head_dim = 128
bytes_each = 2
per_token = 2 * layers * kv_heads * head_dim * bytes_each
print("1トークンのバイト:", per_token)
print("8,000トークン、GB:", round(per_token * 8000 / 1024 ** 3, 2))
# bytes_each = 1 も試しましょう。量子化したキャッシュの場合です。