KI-Glossar
Evaluierung (Eval)
Eine Evaluierung ist ein wiederholbarer Test einer KI-Funktion: feste Eingaben, eine Bewertung für jede Ausgabe und ein Ergebnis, das sich zwischen Versionen vergleichen lässt.
Modellausgaben schwanken, daher funktioniert eine exakte Gleichheitsprüfung selten. Eine Evaluierung führt viele Fälle aus und meldet einen Wert, etwa 47 von 50 Zusammenfassungen mit Bestellnummer.
Bewertungen kommen aus Regeln im Code, aus dem Vergleich mit einer Referenzantwort oder von einem anderen Modell als Richter. Erst günstige Code-Prüfungen, ein Richter dort, wo Code nicht entscheiden kann.
Lassen Sie Evaluierungen bei jeder Änderung an Prompt, Modell oder Suche laufen, wie Unit-Tests. Eine Änderung, die in drei Versuchen besser wirkt, kann über fünfzig schlechter sein.
Praktisch lernen
Diese kostenlosen Lektionen lehren es mit Befehlen für ein Labor und geprüften Aufgaben. Ohne Konto vollständig lesbar.