Wort-Embeddings: Wörter als Vektoren

Ein Wort-Embedding ist eine Liste von Zahlen, die die Bedeutung eines Wortes beschreibt. Wörter mit ähnlicher Bedeutung bekommen ähnliche Zahlen, deshalb findet ein Programm so auch Wörter, die eine reine Zählung nicht verbindet.

Wer „Mensa“ sucht, will vielleicht auch „Kantine“ finden. Das ist die Frage dieser Lektion, und auch, wo solche Modelle danebenliegen.

Eine Zählung sieht „Mensa“ und „Kantine“ als völlig verschiedene Wörter. Ein Embedding gibt jedem Wort eine Zahlenliste, die aus dem Text gelernt wird, in dem es vorkommt. Wörter, die in ähnlichen Sätzen stehen, bekommen ähnliche Listen.

Der Abstand zweier Listen misst dann die Nähe der Bedeutung. Wir rechnen mit zwei erfundenen Zahlen je Wort.

# Erfundene Vektoren: (Essen und Trinken, Gebäude).
vektoren = {
    "kaffee": [9, 0],
    "tee": [8, 1],
    "mensa": [3, 8],
    "kantine": [3, 7],
    "bibliothek": [0, 9],
}
wort = "mensa"
for anderes in vektoren:
    if anderes != wort:
        a = vektoren[wort]
        b = vektoren[anderes]
        abstand = (a[0] - b[0]) ** 2 + (a[1] - b[1]) ** 2
        print(anderes, abstand)
# Welches Wort liegt am nächsten? Probieren Sie "kaffee".

docker exec jupyter python3 -c "print((3 - 3) ** 2 + (8 - 7) ** 2)"

Der Unterschied zwischen zwei Vektoren kann eine Beziehung enthalten. Im erfundenen Beispiel führt der Weg von „deutschland“ zu „berlin“ von einem Land zu seiner Hauptstadt.

Wendet man denselben Schritt auf „frankreich“ an, landet man bei „paris“. Echte Embeddings treffen so etwas nur ungefähr, nicht sicher.

# Erfundene Vektoren: (Land oder Stadt, Region).
deutschland = [4, 1]
berlin = [7, 1]
frankreich = [4, 3]
ziel = []
for n in range(2):
    ziel.append(berlin[n] - deutschland[n] + frankreich[n])
print(ziel)
# Vergleichen Sie mit dem Vektor von paris: [7, 3].

docker exec jupyter python3 -c "print(7 - 4 + 4, 1 - 1 + 3)"

Ein großes Sprachmodell schaut bei jedem Wort auf alle früheren Wörter. Es gibt jedem ein Gewicht. Das heißt Aufmerksamkeit (englisch attention).

Im Satz „Der Hund jagt die Katze, weil er Hunger hat“ muss das Modell wissen, wer „er“ ist. Dafür muss es auf „Hund“ stärker schauen als auf „Katze“.

Das kleine Modell des Labs zählt in einem kurzen englischen Text, welches Wort auf welches folgt. Dann schreibt es vier neue Sätze.

Jedes Wortpaar darin steht im Text, aber der erste Satz „the shop opens at the hour .“ steht nirgends und ist falsch. Das ist eine Halluzination im Kleinen.

docker exec jupyter python3 steps/generate.py

Ein Embedding lernt aus Texten. Steht ein Beruf dort meist mit einem Geschlecht oder ein Land meist mit einem Vorurteil, liegen die Vektoren entsprechend nah. Das ist Verzerrung aus den Daten.

Sie ist in einer einzelnen Antwort oft nicht zu sehen. Prüfen Sie deshalb Ergebnisse an Beispielen aus allen Gruppen.