Module gratuit
Comment marche l’inférence d’un modèle de langage, sur un CPU
Apprenez l’inférence d’un LLM en pratique : prefill et décodage, cache KV, lots continus, décodage spéculatif, int8 et mesure de la latence.
Les leçons
Chaque leçon est gratuite et interactive. Appuyez sur Démarrer le labo pour lancer ses commandes dans un laboratoire et passer ses quiz et ses exercices, sans compte.
1 · Labo de conteneurs
Prefill et décodage dans l’inférence d’un LLM
Je peux expliquer pourquoi le décodage est limité par la lecture de la mémoire, et pas le prefill.
Lire la leçon2 · Labo de conteneurs
Comment un cache KV accélère la génération
Je peux calculer le travail qu’économise un cache KV et la mémoire qu’il coûte.
Lire la leçon3 · Labo de conteneurs
Traitement par lots et lots continus
Je peux ordonnancer des requêtes par lots statiques et par lots continus, et comparer les deux.
Lire la leçon4 · Labo de conteneurs
Comment marche le décodage spéculatif
Je peux décider quels jetons du brouillon le modèle cible garde dans le décodage spéculatif.
Lire la leçon5 · Labo de conteneurs
La quantification int8 à la main
Je peux quantifier une ligne de poids en int8 et mesurer l’erreur.
Lire la leçon6 · Labo de conteneurs
Mesurer la latence et le débit d’un LLM
Je peux calculer le temps jusqu’au premier jeton et les jetons par seconde à partir des instants de chaque jeton.
Lire la leçon
Travaillé dans un vrai laboratoire
Chaque leçon de ce module se travaille dans un laboratoire lancé pour vous seul. Les laboratoires utilisés :
Vous enseignez à une classe ? Proposez ce module à vos étudiants avec un guide de l'enseignant, des devoirs corrigés et un laboratoire pour chaque étudiant.