Glosario de IA
Inferencia
La inferencia es ejecutar un modelo entrenado para obtener una salida a partir de una entrada, frente a entrenarlo; es lo que hace cada llamada a una API o ejecución local.
En un modelo de lenguaje tiene dos partes: leer todo el prompt de una vez y luego generar la respuesta token a token. La primera marca la espera hasta la primera palabra; la segunda, la velocidad del resto.
Su coste crece con el tamaño del modelo y con los tokens de entrada y salida, por eso un modelo más pequeño, un prompt más corto o una caché recortan mucho la factura.
El entrenamiento ocurre una vez; la inferencia, en cada petición. En la mayoría de productos es la inferencia la que fija el coste de funcionamiento.
Apréndelo con práctica
Estas lecciones gratuitas lo enseñan con órdenes para ejecutar en un laboratorio y tareas corregidas. Se leen completas sin cuenta.