Glosario de IA
LLM como juez
Un LLM como juez es un modelo de lenguaje que puntúa la salida de otro modelo según una rúbrica, cuando una comprobación sencilla en código no puede decidir.
Le das la entrada, la salida y una rúbrica breve: «¿La respuesta usa solo datos de la fuente? Responde aprobado o suspenso con un motivo». Después puntúa muchas salidas deprisa.
Los jueces tienen sesgos conocidos: prefieren respuestas largas, la primera de dos opciones y su propio estilo. Una rúbrica fija, aprobado o suspenso en lugar de una nota de 1 a 10 e invertir el orden ayudan.
Comprueba al propio juez: puntúa una muestra a mano y compara. Un juez que discrepa a menudo de las personas está midiendo otra cosa.
Apréndelo con práctica
Estas lecciones gratuitas lo enseñan con órdenes para ejecutar en un laboratorio y tareas corregidas. Se leen completas sin cuenta.