トランスフォーマー

文章はトークンとして入り、各トークンは埋め込みの表からベクトルになります。アテンションだけでは順番がわからないため、位置の信号を足します。そのあとベクトルはブロックを順に通ります。

各ブロックは2つのことをします。各トークンが見えるトークンの一部を混ぜ込むアテンションと、トークンごとに別々にかける小さなフィードフォワードです。ブロックを積み重ねても数値が安定するよう、残差接続と正規化を使います。

最後のベクトルは語彙のすべてのトークンへの点数になり、学習では正しい次のトークンが最高点になるまで表を少しずつ調整します。レッスンの小さなモデルも大きなモデルも部品は同じで、大きいほうはブロックが多く、表が広いだけです。

よくある誤解は、トランスフォーマーを読んだ文章の保管庫と考えることです。残っているのは表の数値だけなので、誰も書いたことのない文章を書けますし、事実と違うことを言うこともあります。