Plus facile à lire avec un fond crème, une teinte, plus de contraste ou un texte plus grand ? Choisissez vos couleurs et votre texte, une fois pour toutes les pages.

Module gratuit

Comment marchent les modèles de langage : les transformeurs de zéro

Apprenez comment marche un modèle de langage, de zéro : jetons, plongements, attention, bloc de transformeur, entraînement et échantillonnage.

6 leçonsLeçon de 370 minIA et science des données

Les leçons

Chaque leçon se lit gratuitement en entier. Créez un compte gratuit pour lancer ses commandes dans un laboratoire et passer ses quiz et ses exercices.

  1. 1 · Labo de conteneurs

    Tokenisation et encodage par paires d’octets

    Je peux découper un court texte en jetons par fusions de paires.

    Lire la leçon

  2. 2 · Labo de conteneurs

    Plongements de jetons et encodage de position

    Je peux construire les vecteurs d’entrée d’un transformeur à partir des identifiants et des positions.

    Lire la leçon

  3. 3 · Labo de conteneurs

    Comment marche l’attention dans un transformeur

    Je peux calculer à la main la sortie de l’attention pour un jeton.

    Lire la leçon

  4. 4 · Labo de conteneurs

    À l’intérieur d’un bloc de transformeur

    Je peux suivre un jeton à travers les étapes d’un bloc de transformeur.

    Lire la leçon

  5. 5 · Labo de conteneurs

    Entraîner un tout petit modèle de langage

    Je peux entraîner un tout petit modèle à prédire le caractère suivant et lire sa perte.

    Lire la leçon

  6. 6 · Labo de conteneurs

    Échantillonnage, température et top-k

    Je peux choisir le jeton suivant par décodage glouton, température et top-k.

    Lire la leçon

Travaillé dans un vrai laboratoire

Chaque leçon de ce module se travaille dans un laboratoire lancé pour vous seul. Les laboratoires utilisés :

Vous enseignez à une classe ? Proposez ce module à vos étudiants avec un guide de l'enseignant, des devoirs corrigés et un laboratoire pour chaque étudiant.