Sampling, Temperatur und Top-k

Sampling ist die Art, wie ein Sprachmodell sein nächstes Token aus seinen Wahrscheinlichkeiten zieht. Temperatur und Top-k sind die Einstellungen, die diese Wahl formen. Sie sind der Grund, warum derselbe Prompt jedes Mal anderen Text liefern kann.

Die Zahlen des Modells ändern sich zwischen zwei Antworten nicht. Nur die Wahl ändert sich.

Nach „Der Zug ist“ gibt unser erfundenes Modell Scores für vier nächste Wörter. Softmax macht daraus Wahrscheinlichkeiten.

Greedy-Decoding nimmt immer das wahrscheinlichste Token, hier spät. Es liefert jedes Mal denselben Text. Bei langen Texten wiederholt es sich oft, weil der wahrscheinlichste nächste Schritt an dieselbe Stelle zurückführen kann.

Sampling zieht ein Token zufällig, jedes mit seiner Wahrscheinlichkeit. So kommt spät etwa 64-mal in 100 Ziehungen heraus und blau etwa 3-mal.

Die Temperatur ändert diese Chancen vorher. Teilen Sie jeden Score durch sie und wenden Sie dann Softmax an. Unter 1 wird das oberste Token noch wahrscheinlicher. Über 1 gleichen sich die Chancen an, und seltenere Wörter erscheinen öfter.

docker exec jupyter python3 -c "import numpy as np; s = np.array([3, 2, 1, 0]); print([np.bincount(np.random.default_rng(7).choice(4, size=1000, p=np.exp(s / t) / np.exp(s / t).sum()), minlength=4).tolist() for t in (1.0, 0.5)])"

Top-k behält nur die k wahrscheinlichsten Tokens und verteilt ihre Chancen neu, sodass sie wieder 1 ergeben. Mit k = 2 können hier und blau nie erscheinen.

Eine Zufallsziehung beginnt mit einem Startwert. Derselbe Startwert liefert dieselben Ziehungen, ein neuer liefert neue. Darum kann ein Prompt verschiedenen Text liefern, und darum wiederholt sich ein Test mit festem Startwert.

import math
import random

woerter = ["spät", "voll", "hier", "blau"]
scores = [3, 2, 1, 0]      # die Scores des Modells nach "Der Zug ist"
temperatur = 1.0
startwert = 1

potenzen = []
for s in scores:
    potenzen.append(math.exp(s / temperatur))
summe = sum(potenzen)
wahrsch = []
gerundet = []
for p in potenzen:
    wahrsch.append(p / summe)
    gerundet.append(round(p / summe, 3))
print("Wahrscheinlichkeiten:", gerundet)

random.seed(startwert)
ziehungen = random.choices(woerter, weights=wahrsch, k=8)
print("acht Ziehungen:", ziehungen)
# Ändern Sie startwert in 2 und starten Sie erneut: andere Ziehungen, gleiche Wahrscheinlichkeiten.
# Setzen Sie dann temperatur auf 0.3. Was passiert mit den Ziehungen?