Glosario de IA
Evaluación (eval)
Una evaluación es una prueba repetible de una función de IA: entradas fijas, una forma de puntuar cada salida y un resultado comparable entre versiones.
Las salidas de un modelo varían, así que una aserción de igualdad exacta rara vez sirve. Una evaluación ejecuta muchos casos y da una puntuación, por ejemplo 47 de 50 resúmenes con el número de pedido.
Las notas salen de reglas en código, de comparar con una respuesta de referencia o de otro modelo que hace de juez. Primero las comprobaciones baratas en código; un juez donde el código no puede decidir.
Ejecuta las evaluaciones con cada cambio de prompt, modelo o recuperación, como las pruebas unitarias. Un cambio que parece mejor en tres intentos puede ser peor en cincuenta.
Apréndelo con práctica
Estas lecciones gratuitas lo enseñan con órdenes para ejecutar en un laboratorio y tareas corregidas. Se leen completas sin cuenta.