Pourquoi relire deux fois les mêmes mots ?
Un cache KV est la réserve de clés et de valeurs qu’un modèle de langage garde pour les jetons déjà lus. Il évite au modèle de relire tout le texte pour chaque nouveau jeton.
Sans lui, écrire une longue réponse ralentit à chaque mot. Avec lui, le travail par jeton reste petit, et le prix à payer est la mémoire.
À la fin de cette leçon
Remarque
Je peux calculer le travail qu’économise un cache KV et la mémoire qu’il coûte.
Mots-clés
| Mot | Ce que ça veut dire |
|---|---|
| Clé | ce qu’un jeton offre à l’attention |
| Valeur | ce qu’un jeton transmet par l’attention |
| Cache KV | les clés et valeurs gardées des jetons précédents |
| Ligne | la clé et la valeur d’un jeton dans une couche |
| Couche | un bloc du modèle ; chacune a son propre cache |
| Longueur de contexte | combien de jetons le modèle lit à la fois |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
Les anciennes clés et valeurs ne changent jamais
Dans l’attention, chaque nouveau jeton compare sa requête à la clé de chaque jeton précédent, puis mélange leurs valeurs. Un jeton ne regarde qu’en arrière : la clé et la valeur d’un jeton plus ancien ne changent donc plus une fois calculées.
Sans cache, chaque passe les recalcule toutes depuis le début. Avec un cache KV, chaque passe ne calcule que la clé et la valeur du nouveau jeton et les ajoute à la réserve.
Générer avec et sans cache
docker exec jupyter python3 steps/cache.pyAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
Exemple travaillé : 32 caractères après 12 d’invite
| Façon | Texte | Lignes de clés et valeurs | Multiplications-additions |
|---|---|---|---|
| Sans cache | on the mat. the dog sathe sat ar | 880 | 1 193 056 |
| Cache KV | on the mat. the dog sathe sat ar | 43 | 135 584 |
Les cellules que les étudiants remplissent restent vides dans cet aperçu.
Sans cache, le travail ne cesse de grandir
La passe 1 lit les 12 jetons de l’invite. La passe 2 en lit 13. La passe 32 en lit 43. Les lignes font 880 au total. Avec un cache, il y a 12 lignes pour l’invite, puis une par passe : 43.
Plus la réponse est longue, plus l’écart se creuse. Doubler la réponse fait plus que doubler le travail sans cache.
À vous : comptez les lignes sans cache
# La passe i lit l'invite et les i jetons déjà produits, sauf si un cache les garde.
invite = 12
nouveaux = 32
lignes = 0
for i in range(nouveaux):
lignes = lignes + invite + i
print("lignes calculées sans cache :", lignes)
# Passez nouveaux à 64. Le total double-t-il, ou plus que double ?
Une erreur fréquente
Attention
Beaucoup pensent qu’un cache KV garde les réponses passées, comme un cache web, et qu’une question répétée devient gratuite. Il garde les clés et les valeurs des jetons de cette seule requête. Il se remplit pendant le prefill et disparaît quand la requête se termine.
Le cache coûte de la mémoire par jeton
Chaque jeton garde une clé et une valeur dans chaque couche. Dans le modèle du labo, cela fait 2 listes de 16 nombres de 4 octets : 128 octets par jeton.
Un vrai modèle a beaucoup de couches et de têtes. Avec 32 couches, 8 têtes clé-valeur de largeur 128 et des nombres de 2 octets, il garde 131 072 octets par jeton, soit 128 Ko. Huit mille jetons font environ 1 Go, pour un seul utilisateur.
Regarder le cache se remplir
docker exec jupyter python3 steps/cachemem.pyAffichée ici, non exécutée. Appuyez sur Démarrer le labo pour la saisir dans le terminal de votre propre labo.
À vous : la taille d’un vrai cache
# Clés et valeurs : 2, pour chaque couche et chaque tête clé-valeur.
couches = 32
tetes_kv = 8
largeur_tete = 128
octets = 2
par_jeton = 2 * couches * tetes_kv * largeur_tete * octets
print("octets par jeton :", par_jeton)
print("8 000 jetons, en Go :", round(par_jeton * 8000 / 1024 ** 3, 2))
# Essayez octets = 1, comme le ferait un cache quantifié.