KI-Glossar
Attention (Aufmerksamkeitsmechanismus)
Attention ist der Schritt in einem Transformer, in dem jedes Token die Tokens bewertet, die es sehen darf, die Punktzahlen in Gewichte umrechnet und eine gewichtete Mischung ihrer Values bildet.
Jedes Token bekommt drei Vektoren aus drei gelernten Tabellen: eine Query (was es sucht), einen Key (was es anbietet) und einen Value (was es weitergibt). Query mal Key ergibt eine Punktzahl dafür, wie gut beide passen.
Softmax macht aus den Punktzahlen positive Gewichte, die zusammen 1 ergeben, und der neue Vektor ist die Summe der Values mal ihrem Gewicht. In einem Sprachmodell verdeckt eine kausale Maske die späteren Tokens, sodass ein Token nie das nächste sieht, das es erraten lernt.
Ein Block lässt mehrere Heads nebeneinander laufen, jeder mit eigenen Tabellen, damit verschiedene Heads verschiedene Muster erfassen können. Jedes Token vergleicht sich mit allen, die es sieht, also wächst die Arbeit mit dem Quadrat der Länge: ein Grund, warum ein sehr langer Prompt langsam ist.
Ein häufiger Fehler ist zu glauben, Attention wähle ein Token aus und ignoriere den Rest. Sie nimmt einen Anteil von jedem sichtbaren Token; ein hohes Gewicht heißt nur ein größerer Anteil.
Praktisch lernen
Diese kostenlosen Lektionen lehren es mit Befehlen für ein Labor und geprüften Aufgaben. Ohne Konto vollständig lesbar.