Comparación de IA
Streaming o respuesta completa
Usa streaming cuando una persona ve aparecer la respuesta, para que empiece a leer enseguida; espera la respuesta completa cuando el código deba analizarla o comprobarla antes.
| Aspecto | Streaming | Respuesta completa |
|---|---|---|
| Primeras palabras | Al momento | Cuando la respuesta está terminada |
| Tiempo total | Más o menos el mismo | Más o menos el mismo |
| En el código | Eventos que unir y texto parcial | Una sola respuesta que analizar |
| Comprobar antes de mostrar | Difícil: el texto ya se ve | Fácil |
Elige Streaming cuando
- Una persona lee la respuesta mientras se escribe
- Las respuestas son largas
- Quieres que la función se sienta ágil
Elige Respuesta completa cuando
- La respuesta es JSON para tu código
- Debes comprobarla o filtrarla antes de que nadie la vea
- Las respuestas son cortas
Apréndelo con práctica
Estas lecciones gratuitas lo enseñan con órdenes para ejecutar en un laboratorio y tareas corregidas. Se leen completas sin cuenta.
Términos relacionados
- Streaming (respuesta en flujo)
- El streaming envía la respuesta de un modelo poco a poco mientras se genera, para que el usuario vea las primeras palabras enseguida en lugar de esperar la respuesta entera.
- Latencia
- La latencia es cuánto espera un usuario una respuesta; en un modelo de lenguaje suele dividirse en tiempo hasta el primer token y tiempo total.
- Salida estructurada
- La salida estructurada consiste en pedir al modelo una respuesta con una forma fija legible por máquina, como JSON con campos con nombre, en lugar de texto libre.