この語には、前のどの語が大事か
注意とは、トランスフォーマーの中で、各トークンがほかのトークンを見て、必要なものを取り込む手順です。言語モデルが「それ」を、ずっと前の正しい名詞と結び付けられるのは、この手順のおかげです。
「先生の猫」の 猫 は、誰の猫かを知るために 先生 を見る必要があります。注意は、それを数で行う方法です。
このレッスンのゴール
メモ
1つのトークンについて、注意の出力を手で計算することができる。
キーワード
| ことば | いみ | れい |
|---|---|---|
| クエリ | トークンが何を探しているかを表すベクトル | |
| キー | トークンが何を差し出せるかを表すベクトル | |
| バリュー | トークンが渡す中身を持つベクトル | |
| スコア | クエリとキーがどれだけ合うか | 2 |
| softmax | スコアを合計1の割合に変える計算 | |
| 重み | 出力に入るバリューの割合 | 0.665 |
学生が入力するセルは、このプレビューでは空白です。
どのトークンにもクエリ、キー、バリューがある
前に学んだ線形代数では、表とベクトルのかけ算を扱いました。注意では、各入力ベクトルに学習で決まる3つの表をかけて、3つの新しいベクトルを作ります。
クエリは、このトークンが何を探しているかです。キーは、ほかに何を差し出せるかです。バリューは、選ばれたときに渡す中身です。ここでは、3つのベクトルができたところから始めます。
例: 猫 のクエリのスコア
| トークン | キー | 猫 のクエリ × キー | スコア |
|---|---|---|---|
| 先生 | 2, 1 | 1×2 + 0×1 | 2 |
| の | 0, 2 | 1×0 + 0×2 | 0 |
| 猫 | 1, 1 | 1×1 + 0×1 | 1 |
学生が入力するセルは、このプレビューでは空白です。
softmax でスコアを重みにする
スコアはどんな大きさにもなり、0より小さいこともあります。softmax は、それをすべて正で、合計が1になる重みに変えます。
まず、各スコアを e の何乗かにします。電卓の exp のボタンです。どの数も正になり、大きいスコアはずっと大きくなります。それから、それぞれを合計で割ります。本物のモデルは、先に全スコアを決まった数で割ります。ここでは省きます。
例: 2、0、1 の softmax
| トークン | スコア | e のスコア乗 | 重み: 11.11 で割る |
|---|---|---|---|
| 先生 | 2 | 7.39 | 0.665 |
| の | 0 | 1.00 | 0.090 |
| 猫 | 1 | 2.72 | 0.245 |
| 合計 | 11.11 | 1.000 |
学生が入力するセルは、このプレビューでは空白です。
NumPy でスコアと重みを出す
docker exec jupyter python3 -c "import numpy as np; K = np.array([[2, 1], [0, 2], [1, 1]]); s = K @ np.array([1, 0]); w = np.exp(s) / np.exp(s).sum(); print(s.tolist(), w.round(3).tolist())"ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。
出力はバリューを重みで混ぜたもの
各トークンのバリューに重みをかけて、その結果を足します。その合計が、猫 の新しいベクトルです。
猫 は重みの約3分の2を 先生 に置いたので、先生 の意味の一部を持つようになります。どのトークンも、自分のクエリで同時に同じことをします。
例: バリューを混ぜる
| トークン | 重み | バリュー | 重み × バリュー |
|---|---|---|---|
| 先生 | 0.665 | 10, 0 | 6.65, 0 |
| の | 0.090 | 0, 10 | 0, 0.90 |
| 猫 | 0.245 | 5, 5 | 1.22, 1.22 |
| 出力 | 約 7.88, 2.12 |
学生が入力するセルは、このプレビューでは空白です。
Python で1トークンの注意を計算する
import math
keys = [[2, 1], [0, 2], [1, 1]] # 先生、の、猫
values = [[10, 0], [0, 10], [5, 5]]
query = [1, 0] # 猫 のクエリ
scores = []
powers = []
for key in keys:
score = query[0] * key[0] + query[1] * key[1]
scores.append(score)
powers.append(math.exp(score))
total = sum(powers)
weights = []
mix = [0, 0]
for i in range(len(values)):
weight = powers[i] / total
weights.append(round(weight, 3))
for j in range(2):
mix[j] = mix[j] + weight * values[i][j]
print("スコア:", scores)
print("重み:", weights)
print("出力:", round(mix[0], 2), round(mix[1], 2))
# query を [0, 1] に変えて実行してください。いちばん重みが大きいのはどれですか。
よくある間違い
注意
注意は1つのトークンを選び、ほかを無視すると考えがちです。実際は、すべてのトークンのバリューを少しずつ取り込みます。重みが0に近いのは、キーがクエリにあまり合わないときだけで、重みの合計はいつも1です。
3つのトークンの注意を一度に出す
docker exec jupyter python3 -c "import numpy as np; Q = np.array([[0, 1], [1, 1], [1, 0]]); K = np.array([[2, 1], [0, 2], [1, 1]]); V = np.array([[10, 0], [0, 10], [5, 5]]); S = Q @ K.T; W = np.exp(S) / np.exp(S).sum(axis=1, keepdims=True); print(W.round(3).tolist()); print((W @ V).round(2).tolist())"ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。