Échantillonnage, température et top-k

L’échantillonnage est la façon dont un modèle de langage choisit son jeton suivant à partir de ses probabilités. La température et le top-k sont les réglages qui façonnent ce choix. C’est pourquoi la même consigne peut donner un texte différent à chaque fois.

Les nombres du modèle ne changent pas entre deux réponses. Seul le choix change.

Après « le bus est », notre modèle inventé donne des scores à quatre mots suivants. Le softmax les change en probabilités.

Le décodage glouton prend toujours le jeton le plus probable, ici plein. Il donne le même texte à chaque fois. Sur un long texte, il finit souvent par se répéter, car l’étape la plus probable peut ramener au même endroit.

L’échantillonnage tire un jeton au hasard, chacun selon sa probabilité. Plein sort donc environ 64 fois sur 100, et bleu environ 3 fois.

La température change d’abord ces chances. On divise chaque score par elle, puis on applique le softmax. Sous 1, le premier jeton devient encore plus probable. Au-dessus de 1, les chances s’égalisent et les mots rares sortent plus souvent.

docker exec jupyter python3 -c "import numpy as np; s = np.array([3, 2, 1, 0]); print([np.bincount(np.random.default_rng(7).choice(4, size=1000, p=np.exp(s / t) / np.exp(s / t).sum()), minlength=4).tolist() for t in (1.0, 0.5)])"

Le top-k garde seulement les k jetons les plus probables et répartit de nouveau leurs chances pour qu’elles fassent 1. Avec k = 2, ici et bleu ne peuvent jamais sortir.

Un tirage au hasard part d’une graine. La même graine donne les mêmes tirages, une nouvelle graine en donne d’autres. Voilà pourquoi une consigne peut donner des textes différents, et pourquoi une graine fixe rend un test répétable.

import math
import random

mots = ["plein", "parti", "ici", "bleu"]
scores = [3, 2, 1, 0]      # les scores du modèle après « le bus est »
temperature = 1.0
graine = 1

puissances = []
for s in scores:
    puissances.append(math.exp(s / temperature))
total = sum(puissances)
probas = []
for p in puissances:
    probas.append(p / total)
print("probabilités :", [round(p, 3) for p in probas])

random.seed(graine)
tirages = random.choices(mots, weights=probas, k=8)
print("huit tirages :", tirages)
# Mettez graine à 2, puis cliquez sur Exécuter : autres tirages, mêmes probabilités.
# Puis mettez temperature à 0.3. Que deviennent les tirages ?