Glosario de IA
Streaming (respuesta en flujo)
El streaming envía la respuesta de un modelo poco a poco mientras se genera, para que el usuario vea las primeras palabras enseguida en lugar de esperar la respuesta entera.
La mayoría de las API usan eventos enviados por el servidor: la conexión sigue abierta y cada evento trae los siguientes tokens, que la página va añadiendo.
El streaming no hace más rápido al modelo; hace que la espera se sienta más corta, porque se empieza a leer mientras sigue escribiendo.
Usa streaming con texto que lee una persona. Con JSON que tu código debe analizar, suele ser más sencillo esperar la respuesta completa.
Apréndelo con práctica
Estas lecciones gratuitas lo enseñan con órdenes para ejecutar en un laboratorio y tareas corregidas. Se leen completas sin cuenta.