アテンション（注意機構）

各トークンは学習済みの3つの表から3つのベクトルを得ます。探しているものを表すクエリ、差し出すものを表すキー、渡す中身を表すバリューです。クエリとキーを掛けると、どれだけ合うかの点数になります。

ソフトマックスは点数を、正で合計が1になる重みに変えます。新しいベクトルは、各バリューに重みを掛けて足したものです。言語モデルでは因果マスクがあとのトークンを隠すので、当てようとしている次のトークンは見えません。

ブロックは複数のヘッドを並べて動かし、ヘッドごとに表が違うので別々のパターンをとらえられます。各トークンが見えるすべてのトークンと比べるため、計算量は長さの2乗で増えます。とても長いプロンプトが遅い理由の1つです。

よくある誤解は、アテンションが1つのトークンだけを選び、ほかを無視すると考えることです。実際は見えるすべてのトークンから少しずつ取り込み、重みが大きいほど取り込む割合が大きいだけです。