Comparaison IA
Streaming ou réponse entière
Diffusez quand une personne regarde la réponse s’écrire, pour qu’elle lise tout de suite ; attendez la réponse entière quand le code doit d’abord l’analyser ou la vérifier.
| Aspect | Streaming | Réponse entière |
|---|---|---|
| Premiers mots | En un instant | Quand toute la réponse est prête |
| Temps total | À peu près le même | À peu près le même |
| Côté code | Des événements à assembler et du texte partiel | Une seule réponse à analyser |
| Vérifier avant d’afficher | Difficile : le texte est déjà affiché | Facile |
Choisir Streaming quand
- Une personne lit la réponse pendant qu’elle s’écrit
- Les réponses sont longues
- Vous voulez une fonction réactive
Choisir Réponse entière quand
- La réponse est du JSON pour votre code
- Vous devez la vérifier ou la filtrer avant qu’on la voie
- Les réponses sont courtes
L’apprendre par la pratique
Ces leçons gratuites l’enseignent avec des commandes à lancer dans un lab et des tâches corrigées. Elles se lisent en entier sans compte.
Termes liés
- Diffusion en flux (streaming)
- Le streaming envoie la réponse d’un modèle morceau par morceau pendant sa génération : l’utilisateur voit les premiers mots tout de suite au lieu d’attendre la fin.
- Latence
- La latence est le temps qu’un utilisateur attend une réponse ; pour un modèle de langage, on distingue le délai avant le premier token et le temps total.
- Sortie structurée
- La sortie structurée consiste à demander au modèle une réponse dans une forme fixe lisible par une machine, comme du JSON aux champs nommés, au lieu de texte libre.