バイトを4分の1に
int8 量子化とは、言語モデルの重みを1つずつ、-127 から 127 までの整数として1バイトにしまうことです。スケールを掛けると、実数に戻ります。
デコードは毎パスすべての重みを読むので、バイトが4分の1なら読み出しも4分の1です。問題は、正確さがどれだけ失われるかです。
このレッスンのゴール
メモ
重みの1行を int8 に量子化して、誤差を測ることができる。
キーワード
| ことば | いみ |
|---|---|
| int8 | 1バイトにしまう整数 |
| スケール | int8 の値を元に戻すために掛ける数 |
| 量子化 | スケールを使って実数を int8 の値に変えること |
| 逆量子化 | int8 の値にもう一度スケールを掛けること |
| 行ごとのスケール | 行列の行ごとに1つずつあるスケール |
| 外れ値 | ほかの値よりずっと大きい値 |
学生が入力するセルは、このプレビューでは空白です。
スケールで行を int8 に写す
行の中で絶対値が一番大きい値を見つけます。それを127で割ったものがスケールです。すべての数をスケールで割って丸めると、それが int8 の値です。
数を戻すには、int8 の値にスケールを掛けます。一番大きい値はぴったり戻ります。ほかの値は少しずれて戻り、ずれは最大でスケールの半分です。
例: 4つの重みの1行
| 重み | スケール0.00945で割る | int8 | 戻した値 | 誤差 |
|---|---|---|---|---|
| 0.30 | 31.75 | 32 | 0.30236 | 0.00236 |
| -1.20 | -127 | -127 | -1.2 | 0 |
| 0.07 | 7.41 | 7 | 0.06614 | 0.00386 |
| 0.50 | 52.92 | 53 | 0.50079 | 0.00079 |
学生が入力するセルは、このプレビューでは空白です。
試そう: 1行を量子化する
# 重みの1行を、その行のスケールで int8 に量子化します。
row = [0.30, -1.20, 0.07, 0.50]
biggest = 0
for x in row:
biggest = max(biggest, abs(x))
scale = biggest / 127
ints = []
for x in row:
ints.append(round(x / scale))
print("スケール:", round(scale, 5))
print("int8 の値:", ints)
back = []
for n in ints:
back.append(round(n * scale, 5))
print("戻した値:", back)
# 0.07 を 0.004 に変えましょう。どうなりますか。
モデル全体を量子化して比べる
ラボは、モデルの5つの重み行列を、行ごとに1つのスケールで量子化します。そして各行列の最大誤差と、スケールも含めた前後のバイト数を表示します。
それから本当の問いを確かめます。モデルは同じ次の文字を選び続けるでしょうか。文の最初の64文字のすべての場所を調べ、2通りで返答も書きます。
モデルを int8 に量子化する
docker exec jupyter python3 steps/quantise.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
Run の表示
| 測ったもの | 結果 |
|---|---|
| float32 でのバイト | 12,108 |
| int8 でのバイト、スケール込み | 3,543 |
| 重み1つの最大誤差 | 0.00221 から 0.03771 |
| 次の文字が同じ | 64か所中64か所 |
| "the cat " への返答、2通りとも | sat on the mat. the dog |
学生が入力するセルは、このプレビューでは空白です。
大きな値1つが共有のスケールを壊す
行列全体でスケールが1つなら、行列の中で一番大きい値が段階の幅を決めます。1つの重みだけがずっと大きいと、幅が広がり、小さな重みの細かさが失われます。
行ごとにスケールを持てば、害はその1行だけで済みます。ラボは重みを1つ40にして、2通りで平均誤差を測ります。
1つのスケールと行ごとのスケール
docker exec jupyter python3 steps/outlier.pyここでは表示のみで、実行されません。「ラボを開始」を押すと、自分のラボのターミナルに入力できます。
例: 最後の行列の平均誤差
| 行列 | スケール1つ | 行ごとのスケール |
|---|---|---|
| 学習したまま | 0.0194 | 0.00617 |
| 値1つを40にした | 0.0782 | 0.00702 |
学生が入力するセルは、このプレビューでは空白です。
よくある間違い
注意
int8 で速くなるのは整数の計算が速いからだ、と考える人は多いです。デコードでの効果は、主に読むバイトが4分の1になることから来ます。計算のたびに int8 を float32 に戻すマシンでも、読む量は減るので、やはり速くなります。