Mettre en cache les réponses d’un modèle

Ne pas payer deux fois la même réponse

Mettre en cache une réponse de modèle, c’est la ranger puis la rendre pour la même requête plus tard. C’est utile parce qu’un appel coûte de l’argent et des secondes, et que beaucoup de requêtes se répètent.

Une page d’aide demande au modèle de résumer la même politique de retour pour chaque visiteur. Mille appels paient mille fois la même réponse. Un appel et neuf cent quatre-vingt-dix-neuf réponses trouvées dans le cache, non.

À la fin de cette leçon

Remarque

Je peux mettre des réponses de modèle en cache sans risque et dire exactement ce qui fait qu’une entrée est trouvée.

Mots clés

Mot	Ce que ça veut dire
Cache	un stock de réponses déjà payées
Clé de cache	la valeur qui décide si deux requêtes se ressemblent
Entrée trouvée	une requête servie depuis le cache
Entrée absente	une requête qui doit appeler le modèle
Expiration	le moment où une entrée est retirée
Donnée personnelle	tout ce qui identifie une personne

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

La clé couvre toute la requête

Deux requêtes ne partagent une réponse que si le modèle voit la même chose. La clé de cache couvre donc tout ce qui change la réponse. C’est le modèle, chaque message avec son rôle, et les paramètres comme la température et la limite de réponse.

Oubliez un élément, et vous servez la mauvaise réponse. Un hachage de ce texte garde la clé courte.

Exemple détaillé : ce qui change la clé

Changement	Même clé ?	Pourquoi
Même modèle, mêmes messages et paramètres	Oui	Le modèle voit la même requête
Un mot de différence dans un message	Non	Les messages font partie de la clé
Température 0, puis 1	Non	Les réponses peuvent différer
Un autre modèle	Non	Un autre modèle répond autrement

Les cellules que les étudiants remplissent restent vides dans cet aperçu.

Les entrées expirent, le personnel reste dehors

Une réponse vieillit. Donnez à chaque entrée une expiration : une durée de vie en secondes. Ensuite l’entrée est retirée et la requête suivante est absente du cache.

Ne mettez jamais en cache ce qui est personnel. Une réponse construite avec l’adresse ou la commande d’un utilisateur pourrait être donnée au suivant qui a la même clé. Examinez la requête avant la recherche, et n’utilisez pas le cache pour elle.

Une erreur courante

Attention

Beaucoup pensent que le cache est toujours sans risque, puisque la réponse n’est que du texte. Une réponse en cache qui contient les détails d’une personne peut être montrée à une autre. Décidez ce qui peut être mis en cache avant d’en ranger une seule.