Glossaire de l’IA
Diffusion en flux (streaming)
Le streaming envoie la réponse d’un modèle morceau par morceau pendant sa génération : l’utilisateur voit les premiers mots tout de suite au lieu d’attendre la fin.
La plupart des API diffusent par événements envoyés par le serveur : la connexion reste ouverte et chaque événement porte les tokens suivants, que la page ajoute à mesure.
Le streaming ne rend pas le modèle plus rapide ; il raccourcit l’attente ressentie, car la lecture commence pendant l’écriture.
Diffusez le texte lu par une personne. Pour du JSON que le code doit analyser, il est souvent plus simple d’attendre la réponse entière.
L’apprendre par la pratique
Ces leçons gratuites l’enseignent avec des commandes à lancer dans un lab et des tâches corrigées. Elles se lisent en entier sans compte.