Plus facile à lire avec un fond crème, une teinte, plus de contraste ou un texte plus grand ? Choisissez vos couleurs et votre texte, une fois pour toutes les pages.

Leçon gratuite

Comment un cache KV accélère la génération

Après cette leçon: Je peux calculer le travail qu’économise un cache KV et la mémoire qu’il coûte.

Leçon de 60 min2 commandesLab d’inférence de LLM : un petit modèle de langage sur un CPU, avec cache KV, lots et int8

Pourquoi relire deux fois les mêmes mots ?

Un cache KV est la réserve de clés et de valeurs qu’un modèle de langage garde pour les jetons déjà lus. Il évite au modèle de relire tout le texte pour chaque nouveau jeton.

Sans lui, écrire une longue réponse ralentit à chaque mot. Avec lui, le travail par jeton reste petit, et le prix à payer est la mémoire.

À la fin de cette leçon

Remarque

Je peux calculer le travail qu’économise un cache KV et la mémoire qu’il coûte.

Mots-clés

MotCe que ça veut dire
Cléce qu’un jeton offre à l’attention
Valeurce qu’un jeton transmet par l’attention
Cache KVles clés et valeurs gardées des jetons précédents
Lignela clé et la valeur d’un jeton dans une couche
Coucheun bloc du modèle ; chacune a son propre cache
Longueur de contextecombien de jetons le modèle lit à la fois

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

Les anciennes clés et valeurs ne changent jamais

Dans l’attention, chaque nouveau jeton compare sa requête à la clé de chaque jeton précédent, puis mélange leurs valeurs. Un jeton ne regarde qu’en arrière : la clé et la valeur d’un jeton plus ancien ne changent donc plus une fois calculées.

Sans cache, chaque passe les recalcule toutes depuis le début. Avec un cache KV, chaque passe ne calcule que la clé et la valeur du nouveau jeton et les ajoute à la réserve.

Générer avec et sans cache

Commande
docker exec jupyter python3 steps/cache.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

Exemple travaillé : 32 caractères après 12 d’invite

FaçonTexteLignes de clés et valeursMultiplications-additions
Sans cacheon the mat. the dog sathe sat ar8801 193 056
Cache KVon the mat. the dog sathe sat ar43135 584

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

Sans cache, le travail ne cesse de grandir

La passe 1 lit les 12 jetons de l’invite. La passe 2 en lit 13. La passe 32 en lit 43. Les lignes font 880 au total. Avec un cache, il y a 12 lignes pour l’invite, puis une par passe : 43.

Plus la réponse est longue, plus l’écart se creuse. Doubler la réponse fait plus que doubler le travail sans cache.

À vous : comptez les lignes sans cache

Code: python
# La passe i lit l'invite et les i jetons déjà produits, sauf si un cache les garde.
invite = 12
nouveaux = 32
lignes = 0
for i in range(nouveaux):
    lignes = lignes + invite + i
print("lignes calculées sans cache :", lignes)
# Passez nouveaux à 64. Le total double-t-il, ou plus que double ?

Une erreur fréquente

Attention

Beaucoup pensent qu’un cache KV garde les réponses passées, comme un cache web, et qu’une question répétée devient gratuite. Il garde les clés et les valeurs des jetons de cette seule requête. Il se remplit pendant le prefill et disparaît quand la requête se termine.

Le cache coûte de la mémoire par jeton

Chaque jeton garde une clé et une valeur dans chaque couche. Dans le modèle du labo, cela fait 2 listes de 16 nombres de 4 octets : 128 octets par jeton.

Un vrai modèle a beaucoup de couches et de têtes. Avec 32 couches, 8 têtes clé-valeur de largeur 128 et des nombres de 2 octets, il garde 131 072 octets par jeton, soit 128 Ko. Huit mille jetons font environ 1 Go, pour un seul utilisateur.

Regarder le cache se remplir

Commande
docker exec jupyter python3 steps/cachemem.py

Affichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.

À vous : la taille d’un vrai cache

Code: python
# Clés et valeurs : 2, pour chaque couche et chaque tête clé-valeur.
couches = 32
tetes_kv = 8
largeur_tete = 128
octets = 2
par_jeton = 2 * couches * tetes_kv * largeur_tete * octets
print("octets par jeton :", par_jeton)
print("8 000 jetons, en Go :", round(par_jeton * 8000 / 1024 ** 3, 2))
# Essayez octets = 1, comme le ferait un cache quantifié.

À propos de ce labo et de sa source: Lab d’inférence de LLM : un petit modèle de langage sur un CPU, avec cache KV, lots et int8

Vous enseignez à une classe ? Proposez ce module à vos étudiants avec un guide de l'enseignant, des devoirs corrigés et un laboratoire pour chaque étudiant.