KI-Vergleich
Evaluierungen oder Unit-Tests
Unit-Tests prüfen, dass Code jedes Mal genau das Richtige tut; Evaluierungen bewerten eine modellgestützte Funktion über viele Fälle, weil ihre Ausgaben schwanken.
| Aspekt | Evaluierungen | Unit-Tests |
|---|---|---|
| Ergebnis | Ein Wert, etwa 46 von 50 | Bestanden oder nicht |
| Geprüfte Ausgabe | Wechselnder Text, bewertet mit Regeln, Referenzen oder Richter | Ein genauer, bekannter Wert |
| Tempo und Kosten | Langsamer, ruft eventuell ein Modell auf | Schnell und kostenlos |
| Wenn es scheitert | Ansehen, welche Fälle schlechter wurden | Eine bestimmte Prüfung ist gebrochen |
Evaluierungen wählen, wenn
- Die Ausgabe ist erzeugter Text oder eine Modellentscheidung
- Sie vergleichen Prompts, Modelle oder Sucheinstellungen
- „Gut genug“ ist eine Schwelle, keine einzelne Antwort
Unit-Tests wählen, wenn
- Der Code ist deterministisch, etwa Parsen oder Validieren
- Sie prüfen den Code rund um das Modell
- Sie wollen bei jedem Speichern eine schnelle Prüfung
Praktisch lernen
Diese kostenlosen Lektionen lehren es mit Befehlen für ein Labor und geprüften Aufgaben. Ohne Konto vollständig lesbar.
Verwandte Begriffe
- Evaluierung (Eval)
- Eine Evaluierung ist ein wiederholbarer Test einer KI-Funktion: feste Eingaben, eine Bewertung für jede Ausgabe und ein Ergebnis, das sich zwischen Versionen vergleichen lässt.
- Golden Set (Referenzsatz)
- Ein Golden Set ist eine feste Sammlung von Eingaben mit vereinbarten guten Antworten, die als verlässlicher Maßstab für die Bewertung einer KI-Funktion dient.
- LLM als Richter
- LLM als Richter heißt, ein Sprachmodell die Ausgabe eines anderen Modells nach einem Bewertungsschema beurteilen zu lassen, wenn eine einfache Code-Prüfung nicht entscheiden kann.