Eval-Fälle aus der Produktion gewinnen

Ein Fehler im Einsatz ist der beste Test

Eine Eval aus der Produktion macht einen echten Fehler zu einem Testfall. Sie lohnt sich, denn Kunden finden Fehler, an die kein Testautor dachte, aber ihre Nachrichten enthalten Namen, Adressen und Nummern, die Sie nicht behalten dürfen.

Der Shop-Agent scheitert diese Woche viermal. Welche Teile dieser Chats dürfen in Ihre Testmenge?

Am Ende dieser Lektion

Notiz

Ich kann einen Fehler im Einsatz in einen Fall verwandeln, ohne zu behalten, was nicht behalten werden darf.

Schlüsselwörter

Begriff	Was er bedeutet
Spur	die Aufzeichnung eines echten Laufs
Maskierung	personenbezogene Daten durch eine Marke ersetzen
Stichprobe	die Auswahl, welche Spuren man ansieht
Kontrollfall	eine bestandene Spur, die zeigt, was nicht kaputtgehen darf
Drift	eine Menge, die sich ändert, bis sie nicht mehr dasselbe misst

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Wählen Sie, welche Spuren Sie lesen

Sie können nicht jede Spur lesen. Die Stichprobe wählt aus. Nehmen Sie jeden Fehler, den ein Nutzer meldete oder eine Prüfung markierte. Fügen Sie einige bestandene Spuren als Kontrollfälle hinzu, damit eine Korrektur nicht kaputt macht, was funktionierte.

Ein Fehler ist erst ein Fall, wenn eine Person aufgeschrieben hat, was hätte geschehen sollen.

Durchgerechnetes Beispiel: sechs Spuren werden vier Fälle

Spur	Ergebnis	Was mit ihr geschieht
t1	Fehler	ein Fall, die E-Mail ersetzt
t2	ok	ein Kontrollfall
t3	Fehler	ein Fall, die Telefonnummer ersetzt
t4	Fehler	ein Fall
t5	Fehler	verworfen: nach der Maskierung dieselbe Eingabe wie t4
t6	ok	nicht in der Stichprobe

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Entfernen Sie personenbezogene Daten vor dem Speichern

Die Maskierung ersetzt jeden Namen, jede Adresse und Nummer durch eine Marke wie [E-Mail]. Tun Sie das mit Regeln, die Sie lesen und testen können, nie indem Sie ein Modell bitten, und maskieren Sie auch den erwarteten Text.

Dann prüfen Sie. Suchen Sie in den fertigen Fällen, was verschwunden sein sollte. Ein Fall, der noch eine Adresse enthält, ist ein Datenleck in Ihrer Testmenge.

Verhindern Sie, dass die Menge driftet

Drift heißt, dass sich die Menge unbemerkt ändert, bis eine Punktzahl vom letzten Monat nicht mehr dasselbe bedeutet. Geben Sie der Menge eine Version. Fügen Sie Fälle nur nach Durchsicht hinzu, nie durch ein Skript, das jede Nacht läuft.

Begrenzen Sie ihre Größe und verwerfen Sie Duplikate, damit eine Flut desselben Fehlers nicht mehr zählt als der Rest.