Glossaire de l’IA
Quantification
La quantification stocke les poids d’un modèle sur moins de bits, par exemple 4 au lieu de 16, pour qu’il prenne moins de mémoire et aille plus vite, avec une légère perte de qualité.
Un modèle de 7 milliards de paramètres sur 16 bits demande environ 14 Go pour ses seuls poids. Sur 4 bits, environ 4 Go : il tient sur un portable ordinaire.
La perte est en général faible à 8 bits et sensible pour certaines tâches à 4 bits ou moins. Mesurez-la sur votre tâche plutôt que de vous fier à un classement général.
Les poids ne sont pas toute la mémoire : le contexte, gardé dans un cache clé et valeur, grandit à chaque token. Un long prompt peut encore saturer la mémoire d’un modèle quantifié.
L’apprendre par la pratique
Ces leçons gratuites l’enseignent avec des commandes à lancer dans un lab et des tâches corrigées. Elles se lisent en entier sans compte.