Glossaire de l’IA
Découpage (chunking)
Le découpage consiste à couper de longs documents en passages plus courts avant de calculer leurs plongements, pour qu’une recherche renvoie la partie utile.
Un manuel entier n’a qu’un plongement qui veut dire « tout », donc ne correspond bien à rien. Coupé en passages de quelques centaines de tokens, chaque morceau peut correspondre à sa question.
On découpe par taille, avec un léger chevauchement pour ne pas séparer une phrase de son contexte, ou par structure : titres, paragraphes, fonctions dans le code.
Trop petit, un passage perd le contexte qui lui donne son sens ; trop grand, il apporte du bruit. La taille se teste, elle ne se devine pas.
L’apprendre par la pratique
Ces leçons gratuites l’enseignent avec des commandes à lancer dans un lab et des tâches corrigées. Elles se lisent en entier sans compte.