Glossaire de l’IA
LoRA (adaptation de rang faible)
LoRA est une façon d’ajuster un modèle en entraînant de petites matrices ajoutées à côté de ses poids gelés, ce qui demande bien moins de mémoire.
Au lieu de modifier une énorme matrice de poids, LoRA apprend deux matrices fines dont le produit s’y ajoute. Seules celles-ci sont entraînées, souvent moins d’un pour cent des paramètres.
On obtient un petit fichier d’adaptateur que l’on peut brancher ou retirer : un même modèle de base sert plusieurs tâches.
Un adaptateur appartient à son modèle de base. Appliqué à une autre base, même une version plus récente de la même famille, il ne fonctionne plus comme prévu.
L’apprendre par la pratique
Ces leçons gratuites l’enseignent avec des commandes à lancer dans un lab et des tâches corrigées. Elles se lisent en entier sans compte.