Von Token-IDs zu brauchbaren Zahlen
Ein Token-Embedding ist eine Zeile Zahlen, die für ein Token steht, und die Positionskodierung fügt ein Signal hinzu, das sagt, wo das Token steht. Zusammen sind sie die Eingabe jedes Transformers.
Eine Token-ID ist nur ein Etikett. Die Zahl 2 ist nicht „mehr“ als die Zahl 1. Das Modell braucht Zahlen, mit denen es multiplizieren und addieren kann.
Am Ende dieser Lektion
Notiz
Ich kann die Eingabevektoren eines Transformers aus Token-IDs und Positionen bauen.
Schlüsselwörter
| Begriff | Was er bedeutet | Beispiel |
|---|---|---|
| Vektor | eine Liste von Zahlen | [1, 0, 2] |
| Embedding-Tabelle | eine Tabelle mit einer Zeile Zahlen für jedes Token | |
| Embedding | die Zeile der Tabelle für ein Token | |
| Position | wo ein Token im Text steht, ab 0 gezählt | |
| Positionssignal | ein Vektor, der für eine Position steht | |
| Eingabevektor | das Embedding plus das Positionssignal |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Eine Embedding-Tabelle macht aus einer ID Zahlen
Eine Embedding-Tabelle hat eine Zeile für jedes Token im Vokabular. Um ein Token einzubetten, nimmt man die Zeile mit der Nummer seiner Token-ID. Diese Zeile ist das Embedding des Tokens.
Unsere Tabelle hat vier Tokens und drei Zahlen pro Zeile. Die Zahlen beginnen zufällig und ändern sich im Training. So bekommen ähnlich gebrauchte Tokens ähnliche Zeilen.
Durchgerechnetes Beispiel: eine winzige Embedding-Tabelle
| Token | ID | Zeile Zahlen |
|---|---|---|
| Hund | 0 | 1, 0, 2 |
| beißt | 1 | 0, 1, 0 |
| Mann | 2 | 2, 1, 1 |
| Katze | 3 | 2, 1, -1 |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Zeilen nachschlagen und Positionen addieren
# Eine Zeile Zahlen je Token-ID: Hund, beißt, Mann, Katze.
tabelle = [[1, 0, 2], [0, 1, 0], [2, 1, 1], [2, 1, -1]]
# Eine Zeile je Position im Satz: erste, zweite, dritte.
positionen = [[1, 1, 0], [0, 1, 1], [1, 0, 1]]
ids = [0, 1, 2] # Hund beißt Mann
for platz in range(len(ids)):
zeile = tabelle[ids[platz]]
signal = positionen[platz]
vektor = []
for j in range(3):
vektor.append(zeile[j] + signal[j])
print("ID", ids[platz], "Zeile", zeile, "plus Position", signal, "ergibt", vektor)
# Ändern Sie ids in [2, 1, 0], also Mann beißt Hund, und starten Sie erneut.
# Welcher Vektor ändert sich, welcher bleibt gleich?
Wie groß eine echte Tabelle wird
docker exec jupyter python3 -c "print(50000 * 512)"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.
Die Reihenfolge zählt, die Tabelle zeigt sie nicht
„Hund beißt Mann“ und „Mann beißt Hund“ enthalten dieselben drei Tokens, bedeuten aber etwas ganz anderes. Das Nachschlagen gibt jedem Token dieselbe Zeile, egal wo es steht.
Der Schritt der nächsten Lektion, Attention, mischt die Vektoren der Tokens. Für sich allein behandelt er sie wie einen Beutel ohne Reihenfolge. Ohne Hilfe könnte das Modell die beiden Sätze also nicht unterscheiden.
Durchgerechnetes Beispiel: zwei Reihenfolgen, dieselben Zeilen
| Satz | Erstes | Zweites | Drittes |
|---|---|---|---|
| Hund beißt Mann | Hund: 1, 0, 2 | beißt: 0, 1, 0 | Mann: 2, 1, 1 |
| Mann beißt Hund | Mann: 2, 1, 1 | beißt: 0, 1, 0 | Hund: 1, 0, 2 |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Ein häufiger Fehler
Warnung
Viele denken, ein Modell kenne die Wortfolge, weil die Tokens der Reihe nach ankommen. Attention behandelt sie aber wie einen Beutel. Das Modell kennt die Reihenfolge nur, wenn vor der ersten Schicht zu jedem Token ein Positionssignal addiert wird.
Zu jedem Token kommt ein Positionssignal
Eine zweite Tabelle hat eine Zeile für jede Position: erste, zweite, dritte. Addieren Sie die Zeile der Position eines Tokens zu seinem Embedding, Zahl für Zahl. Das Ergebnis ist der Eingabevektor.
Jetzt bekommen „Hund“ an erster und „Hund“ an dritter Stelle verschiedene Eingabevektoren. Manche Modelle lernen die Positionstabelle im Training. Andere nutzen feste Wellenmuster, die nichts lernen müssen.
Durchgerechnetes Beispiel: die Positionssignale addieren
| Platz | Positionssignal | „Hund beißt Mann“ | „Mann beißt Hund“ |
|---|---|---|---|
| Erster | 1, 1, 0 | Hund: 1+1, 0+1, 2+0 = 2, 1, 2 | Mann: 3, 2, 1 |
| Zweiter | 0, 1, 1 | beißt: 0, 2, 1 | beißt: 0, 2, 1 |
| Dritter | 1, 0, 1 | Mann: 3, 1, 2 | Hund: 1+1, 0+0, 2+1 = 2, 0, 3 |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Beide Sätze mit NumPy einbetten
docker exec jupyter python3 -c "import numpy as np; E = np.array([[1, 0, 2], [0, 1, 0], [2, 1, 1], [2, 1, -1]]); P = np.array([[1, 1, 0], [0, 1, 1], [1, 0, 1]]); print((E[[0, 1, 2]] + P).tolist()); print((E[[2, 1, 0]] + P).tolist())"Hier angezeigt, nicht ausgeführt. Erstellen Sie ein kostenloses Konto, um „Ausführen“ zu drücken und ihn im Terminal Ihres eigenen Labs einzugeben.