KI-Glossar
LLM als Richter
LLM als Richter heißt, ein Sprachmodell die Ausgabe eines anderen Modells nach einem Bewertungsschema beurteilen zu lassen, wenn eine einfache Code-Prüfung nicht entscheiden kann.
Sie geben dem Richter Eingabe, Ausgabe und ein kurzes Schema: „Nutzt die Antwort nur Fakten aus der Quelle? Antworte bestanden oder nicht bestanden, mit Grund.“ Dann bewertet er viele Ausgaben schnell.
Richter haben bekannte Verzerrungen: Sie bevorzugen längere Antworten, die erste von zwei Optionen und Text im eigenen Stil. Feste Schemas, bestanden oder nicht statt 1 bis 10 und vertauschte Reihenfolge helfen.
Prüfen Sie den Richter selbst: Bewerten Sie eine Stichprobe von Hand und vergleichen Sie. Ein Richter, der oft anders urteilt als Menschen, misst das Falsche.
Praktisch lernen
Diese kostenlosen Lektionen lehren es mit Befehlen für ein Labor und geprüften Aufgaben. Ohne Konto vollständig lesbar.