クリーム色の背景、色付き表示、高コントラスト、大きな文字のほうが読みやすいですか?配色と文字を選ぶと、すべてのページに一度で反映されます。

無料レッスン

KV キャッシュで生成を速くする

このレッスンのあとで: KV キャッシュが省く仕事の量と、使うメモリの量を計算できる。

60分のレッスンコマンド2件LLM 推論ラボ:CPU で動く小さな言語モデルで、KV キャッシュ、バッチ処理、int8 を学ぶ

同じ文を2回読むのはなぜ

KV キャッシュとは、言語モデルがすでに読んだトークンのキーとバリューをためておく場所です。新しいトークンのたびに文全体を読み直さずに済みます。

キャッシュがないと、長い返答は1語ごとに遅くなります。キャッシュがあれば1トークンの仕事は小さいままです。その代わりにメモリを使います。

このレッスンのゴール

メモ

KV キャッシュが省く仕事の量と、使うメモリの量を計算できる。

キーワード

ことばいみ
キートークンがアテンションに差し出すもの
バリュートークンがアテンションを通して渡すもの
KV キャッシュ前のトークンのキーとバリューをためたもの
行1つの層での、1トークンのキーとバリュー
層モデルの1つのブロック。層ごとにキャッシュがある
コンテキスト長モデルが一度に読めるトークンの数

学生が入力するセルは、このプレビューでは空白です。

前のキーとバリューは変わらない

アテンションでは、新しいトークンが自分のクエリを、前のすべてのトークンのキーと比べます。そして、それらのバリューを混ぜます。トークンは後ろしか見ないので、前のトークンのキーとバリューは一度作ると変わりません。

キャッシュがないと、パスのたびに全部を初めから計算し直します。KV キャッシュがあれば、各パスは新しいトークンのキーとバリューだけを計算し、ためておく場所に足します。

キャッシュありとなしで生成

コマンド
docker exec jupyter python3 steps/cache.py

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

例: 12文字のプロンプトの後の32文字

方法文キーとバリューの行積和
キャッシュなしon the mat. the dog sathe sat ar8801,193,056
KV キャッシュon the mat. the dog sathe sat ar43135,584

学生が入力するセルは、このプレビューでは空白です。

キャッシュなしでは仕事が増え続ける

1回目のパスはプロンプトの12トークンを読みます。2回目は13、32回目は43です。行を合計すると880になります。キャッシュがあれば、プロンプトの12行の後は1パスに1行なので、43です。

返答が長いほど、差は大きくなります。キャッシュなしで返答を2倍にすると、仕事は2倍より多くなります。

試そう: キャッシュなしの行を数える

コード: python
# i 回目のパスは、プロンプトとそれまでに作った i 個のトークンを読みます。キャッシュがなければ。
prompt = 12
new = 32
rows = 0
for i in range(new):
    rows = rows + prompt + i
print("キャッシュなしで計算した行:", rows)
# new を 64 に変えましょう。合計は2倍ですか、それとも2倍より多いですか。

よくある間違い

注意

KV キャッシュは Web のキャッシュのように過去の答えをためるので、同じ質問ならただになる、と考える人は多いです。ためるのは、この1つのリクエストのトークンのキーとバリューです。プリフィルの間に作られ、リクエストが終わると捨てられます。

キャッシュはトークンごとにメモリを使う

トークンはそれぞれ、すべての層でキーとバリューを1つずつ持ちます。ラボのモデルでは16個の数のリストが2つで、1つ4バイトなので、1トークン128バイトです。

実際のモデルには層もヘッドもたくさんあります。32層、幅128のキー・バリューのヘッドが8つ、数が2バイトなら、1トークン131,072バイト、128 KB です。8000トークンで約 1 GB、それも1人分です。

キャッシュがたまる様子を見る

コマンド
docker exec jupyter python3 steps/cachemem.py

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

試そう: 実際のキャッシュの大きさ

コード: python
# キーとバリューの2つを、すべての層、すべてのキー・バリューのヘッドで持ちます。
layers = 32
kv_heads = 8
head_dim = 128
bytes_each = 2
per_token = 2 * layers * kv_heads * head_dim * bytes_each
print("1トークンのバイト:", per_token)
print("8,000トークン、GB:", round(per_token * 8000 / 1024 ** 3, 2))
# bytes_each = 1 も試しましょう。量子化したキャッシュの場合です。

このラボとソースについて: LLM 推論ラボ:CPU で動く小さな言語モデルで、KV キャッシュ、バッチ処理、int8 を学ぶ

授業で使いますか?このモジュールを学生に割り当てると、教員用ガイド、自動採点つきの課題、学生ごとのラボを使えます。