Wie ein Sprachmodell das nächste Wort wählt

Eine neue Mitarbeiterin fragt einen Chatbot, wann der Verleih sonntags öffnet. Er antwortet sofort, höflich und in einem sicheren Satz. Die Zeiten stimmen nicht.

Kaputt war nichts. Das Modell hat genau das getan, wofür es gebaut ist. Diese Lektion zeigt, was das ist, an einem Modell, das klein genug zum Nachrechnen ist.

Ein Modell liest Buchstaben nicht so wie Sie. Es zerlegt Text zuerst in Tokens. Bei einem großen Modell sind das häufige Wörter und Stücke seltener Wörter, oft mit dem Leerzeichen davor.

Unser kleines Modell macht es einfach. Es schreibt alles klein, behandelt den Punkt als eigenes Token und trennt an Leerzeichen.

satz = "Der Laden öffnet um neun. Der Laden schließt um sechs."
# Kleinschreiben, und der Punkt wird ein eigenes Token.
tokens = satz.lower().replace(".", " .").split()
print(tokens)
print(len(tokens), "Tokens")
# Hängen Sie einen eigenen Satz an. Wie viele Tokens sind es jetzt?

Ein Bigramm-Modell lernt nur eines: welches Token auf welches folgt. Gehen Sie den Trainingstext durch und zählen Sie jedes Paar von Nachbarn.

Für die Wahrscheinlichkeiten nach einem Wort teilen Sie jede Zählung durch die Zahl der Male, die auf dieses Wort überhaupt etwas folgte. bigram.py macht das für das englische Wort „the“ in einem kurzen Text über einen Laden.

docker exec jupyter python3 steps/bigram.py

# Zählen, was in einem kurzen Text auf ein Wort folgt.
text = "der kaffee ist heiss . der kaffee ist teuer . der tee ist heiss ."
woerter = text.split()
wort = "ist"
zaehlungen = {}
gesamt = 0
for n in range(len(woerter) - 1):
    if woerter[n] == wort:
        danach = woerter[n + 1]
        if danach in zaehlungen:
            zaehlungen[danach] = zaehlungen[danach] + 1
        else:
            zaehlungen[danach] = 1
        gesamt = gesamt + 1
for danach in zaehlungen:
    print(wort, danach, zaehlungen[danach], "von", gesamt)
# Setzen Sie wort auf "der". Welches Wort folgt am wahrscheinlichsten?

Zum Schreiben wählt das Modell ein nächstes Token, oft zufällig nach den Wahrscheinlichkeiten gewichtet. Dann wählt es vom neuen Token aus wieder eines, und so weiter.

Nichts in dieser Schleife prüft, ob der Satz stimmt. Ein großes Modell ist ein neuronales Netz, das auf Tausende früherer Tokens schaut statt auf eines. Es lernt aus riesigen Textmengen, wählt aber trotzdem wahrscheinliche nächste Tokens.

docker exec jupyter python3 steps/generate.py

Ein Modell kann nur die Muster seines Trainingstexts wiedergeben. Unser Text sagt dreimal „the shop“, also greift das Modell zu „shop“, egal worum es geht.

Ein großes Modell tut dasselbe mit Menschen. Verbindet sein Text einen Beruf meist mit einem Geschlecht oder ein Land mit einem Verbrechen, wiederholt es das. Das ist Verzerrung aus den Daten, in einer einzelnen Antwort oft unsichtbar.

Behandeln Sie eine Antwort als Entwurf von jemandem, der schnell schreibt und nie prüft. Fragen Sie, woher eine Angabe stammt, und öffnen Sie die Quelle selbst. Eine Quelle, die es nicht gibt, ist ein Warnzeichen.

Rechnen Sie jede Zahl nach. Stellen Sie dieselbe Frage anders und vergleichen Sie. Geben Sie keine vertraulichen Daten wie Kundennamen ein, außer Ihre Organisation erlaubt das Werkzeug dafür.

Kopieren Sie den Text aus generate.py in eine Notebook-Zelle. Lassen Sie das Modell auf zwei frühere Wörter schauen statt auf eines. Zählen Sie, welches Wort auf jedes Paar folgt, etwa auf „the shop“.

Erzeugen Sie vier Sätze mit demselben Startwert. Liegen sie näher am Trainingstext? Erklären Sie, warum ein Modell mit mehr Rückblick besser schreibt, aber trotzdem erfinden kann.