Plongements de mots (embeddings) et limites

Un plongement de mots, en anglais « word embedding », représente chaque mot par une liste de nombres. Des mots de sens proche reçoivent des listes proches. Les moteurs de recherche, les traducteurs et les assistants s’en servent pour comprendre ce que vous voulez dire, et pas seulement les mots exacts.

Ces modèles se trompent pourtant de façons précises. Savoir lesquelles vous permet de les utiliser sans vous laisser piéger.

Un sac de mots traite « pizza » et « salade » comme deux mots sans lien. Un plongement place chaque mot dans un espace de nombres, de sorte que les mots de sens proche soient voisins.

Le modèle apprend cela en lisant beaucoup de textes. Des mots qui apparaissent entourés des mêmes mots reçoivent des vecteurs proches. On compare ensuite avec le cosinus de la leçon précédente.

vecteurs = {"pizza": [9, 1], "salade": [8, 2], "cours": [1, 9], "examen": [2, 8]}

def cosinus(a, b):
    produit = a[0] * b[0] + a[1] * b[1]
    return produit / ((a[0] ** 2 + a[1] ** 2) ** 0.5 * (b[0] ** 2 + b[1] ** 2) ** 0.5)

mot = "pizza"
for autre in vecteurs:
    if autre != mot:
        print(autre, round(cosinus(vecteurs[mot], vecteurs[autre]), 2))
# Changez mot en "examen", puis relancez. Quel voisin gagne ?

Comme les mots sont des listes de nombres, on peut les additionner et les soustraire. Une analogie se calcule ainsi : « homme est à roi ce que femme est à ? ».

On prend le vecteur de roi, on retire celui de homme, on ajoute celui de femme. Puis on cherche le mot le plus proche du résultat.

docker exec jupyter python3 -c 'print(9 - 1 + 1, 0 - 0 + 8, 5 - 5 + 5)'

Pour choisir le mot suivant, un modèle de langage ne lit pas la phrase d’un bloc. Pour chaque mot, il donne un poids à chaque autre mot du contexte. C’est l’attention.

Dans « La bibliothèque est fermée car elle est en travaux », le mot « elle » regarde surtout « bibliothèque ». Ces poids s’additionnent à 1.

Un modèle de langage prédit le mot suivant d’après les mots qui précèdent. Le plus petit possible compte, dans un texte, quel mot suit quel mot.

Le script du labo le fait sur un court texte anglais, celui d’une boutique de vélos. Il affiche, pour le mot « the », la part de chaque mot qui le suit.

docker exec jupyter python3 steps/bigram.py

Un modèle apprend les associations du texte qui l’a nourri. Si ce texte relie souvent un métier à un genre, le modèle fait de même.

C’est un biais. Il vient des données, pas d’une intention. Pour le trouver, comparez les voisins d’un mot pour plusieurs groupes de personnes.

Le modèle choisit des mots probables, sans savoir si le résultat est vrai. Quand il manque de données, il peut inventer un titre de livre ou une date qui sonnent juste. On parle d’hallucination.

Le script suivant l’illustre : il écrit des phrases mot à mot avec les comptes de paires. Elles ont l’air de phrases, et plusieurs ne veulent rien dire.

docker exec jupyter python3 steps/generate.py

Dans un carnet de JupyterLab, ajoutez dix mots de votre choix au dictionnaire de vecteurs du devoir, avec trois nombres chacun. Cherchez leurs voisins.

Vos nombres sont-ils bien choisis ? Un vecteur fait à la main reflète vos propres idées : que cela dit-il d’un vecteur appris sur des textes ?