KI-Glossar
Transformer
Ein Transformer ist die Architektur neuronaler Netze, auf der die meisten Sprachmodelle beruhen: ein Stapel gleicher Blöcke, in denen jedes Token per Attention von den anderen aufnimmt, was es braucht.
Text kommt als Tokens herein, und jedes Token wird zu einem Vektor aus einer Embedding-Tabelle. Dazu kommt ein Positionssignal, weil Attention allein die Reihenfolge nicht kennt. Dann laufen die Vektoren nacheinander durch die Blöcke.
Jeder Block tut zwei Dinge: Attention, bei der jedes Token einen Anteil der Tokens einmischt, die es sehen darf, und einen kleinen Feed-Forward-Schritt für jedes Token einzeln. Residualverbindungen und Normalisierung halten die Zahlen stabil, wenn Blöcke gestapelt werden.
Am Ende wird der letzte Vektor zu einer Punktzahl für jedes Token im Vokabular, und das Training stellt die Tabellen nach, bis das richtige nächste Token am höchsten liegt. Ein winziges Modell in einer Lektion und ein großes haben dieselben Teile; das große hat mehr Blöcke und breitere Tabellen.
Ein häufiger Fehler ist, sich einen Transformer als Speicher gelesener Sätze vorzustellen. Er behält nur die Zahlen in seinen Tabellen. Deshalb kann er einen Satz schreiben, den niemand je geschrieben hat, und auch etwas Falsches behaupten.
Praktisch lernen
Diese kostenlosen Lektionen lehren es mit Befehlen für ein Labor und geprüften Aufgaben. Ohne Konto vollständig lesbar.