クリーム色の背景、色付き表示、高コントラスト、大きな文字のほうが読みやすいですか?配色と文字を選ぶと、すべてのページに一度で反映されます。

無料レッスン

手で int8 量子化をする

このレッスンのあとで: 重みの1行を int8 に量子化して、誤差を測ることができる。

60分のレッスンコマンド2件LLM 推論ラボ:CPU で動く小さな言語モデルで、KV キャッシュ、バッチ処理、int8 を学ぶ

バイトを4分の1に

int8 量子化とは、言語モデルの重みを1つずつ、-127 から 127 までの整数として1バイトにしまうことです。スケールを掛けると、実数に戻ります。

デコードは毎パスすべての重みを読むので、バイトが4分の1なら読み出しも4分の1です。問題は、正確さがどれだけ失われるかです。

このレッスンのゴール

メモ

重みの1行を int8 に量子化して、誤差を測ることができる。

キーワード

ことばいみ
int81バイトにしまう整数
スケールint8 の値を元に戻すために掛ける数
量子化スケールを使って実数を int8 の値に変えること
逆量子化int8 の値にもう一度スケールを掛けること
行ごとのスケール行列の行ごとに1つずつあるスケール
外れ値ほかの値よりずっと大きい値

学生が入力するセルは、このプレビューでは空白です。

スケールで行を int8 に写す

行の中で絶対値が一番大きい値を見つけます。それを127で割ったものがスケールです。すべての数をスケールで割って丸めると、それが int8 の値です。

数を戻すには、int8 の値にスケールを掛けます。一番大きい値はぴったり戻ります。ほかの値は少しずれて戻り、ずれは最大でスケールの半分です。

例: 4つの重みの1行

重みスケール0.00945で割るint8戻した値誤差
0.3031.75320.302360.00236
-1.20-127-127-1.20
0.077.4170.066140.00386
0.5052.92530.500790.00079

学生が入力するセルは、このプレビューでは空白です。

試そう: 1行を量子化する

コード: python
# 重みの1行を、その行のスケールで int8 に量子化します。
row = [0.30, -1.20, 0.07, 0.50]
biggest = 0
for x in row:
    biggest = max(biggest, abs(x))
scale = biggest / 127
ints = []
for x in row:
    ints.append(round(x / scale))
print("スケール:", round(scale, 5))
print("int8 の値:", ints)
back = []
for n in ints:
    back.append(round(n * scale, 5))
print("戻した値:", back)
# 0.07 を 0.004 に変えましょう。どうなりますか。

モデル全体を量子化して比べる

ラボは、モデルの5つの重み行列を、行ごとに1つのスケールで量子化します。そして各行列の最大誤差と、スケールも含めた前後のバイト数を表示します。

それから本当の問いを確かめます。モデルは同じ次の文字を選び続けるでしょうか。文の最初の64文字のすべての場所を調べ、2通りで返答も書きます。

モデルを int8 に量子化する

コマンド
docker exec jupyter python3 steps/quantise.py

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

Run の表示

測ったもの結果
float32 でのバイト12,108
int8 でのバイト、スケール込み3,543
重み1つの最大誤差0.00221 から 0.03771
次の文字が同じ64か所中64か所
"the cat " への返答、2通りともsat on the mat. the dog

学生が入力するセルは、このプレビューでは空白です。

大きな値1つが共有のスケールを壊す

行列全体でスケールが1つなら、行列の中で一番大きい値が段階の幅を決めます。1つの重みだけがずっと大きいと、幅が広がり、小さな重みの細かさが失われます。

行ごとにスケールを持てば、害はその1行だけで済みます。ラボは重みを1つ40にして、2通りで平均誤差を測ります。

1つのスケールと行ごとのスケール

コマンド
docker exec jupyter python3 steps/outlier.py

ここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。

例: 最後の行列の平均誤差

行列スケール1つ行ごとのスケール
学習したまま0.01940.00617
値1つを40にした0.07820.00702

学生が入力するセルは、このプレビューでは空白です。

よくある間違い

注意

int8 で速くなるのは整数の計算が速いからだ、と考える人は多いです。デコードでの効果は、主に読むバイトが4分の1になることから来ます。計算のたびに int8 を float32 に戻すマシンでも、読む量は減るので、やはり速くなります。

このラボとソースについて: LLM 推論ラボ:CPU で動く小さな言語モデルで、KV キャッシュ、バッチ処理、int8 を学ぶ

授業で使いますか?このモジュールを学生に割り当てると、教員用ガイド、自動採点つきの課題、学生ごとのラボを使えます。