Glosario de IA
Latencia
La latencia es cuánto espera un usuario una respuesta; en un modelo de lenguaje suele dividirse en tiempo hasta el primer token y tiempo total.
El tiempo hasta el primer token es la espera antes de que aparezca algo. El tiempo total incluye generar cada token de la respuesta, así que una respuesta larga tarda más incluso en un modelo rápido.
La latencia se suma paso a paso. Una respuesta RAG que calcula un embedding, busca, reordena y llama al modelo paga cada paso; una traza muestra cuál es lento.
Mide percentiles, no medias: la petición más lenta de cada veinte es la que los usuarios recuerdan.
Apréndelo con práctica
Estas lecciones gratuitas lo enseñan con órdenes para ejecutar en un laboratorio y tareas corregidas. Se leen completas sin cuenta.