Anfragen per Routing auf Modelle verteilen

Jede Anfrage an das günstigste passende Modell

Modelle zu routen heißt, für jede Anfrage das günstigste Modell zu wählen, das genügt. Das ist wichtig, weil das teuerste ein Vielfaches des kleinsten kostet und die meisten Anfragen es nicht brauchen.

Ein Support-Werkzeug ordnet Tickets zu, beantwortet kurze Fragen und entwirft lange Antworten. Zuordnen braucht nicht das Modell, das entwirft. Alles an ein großes Modell zu schicken, bezahlt eine Leistung, die fast keine Anfrage nutzt.

Am Ende dieser Lektion

Notiz

Ich kann jede Anfrage an das günstigste ausreichende Modell weiterleiten und die Wahl an aufgezeichneten Fällen prüfen.

Schlüsselwörter

Begriff	Was er bedeutet
Router	die Regel, die für eine Anfrage ein Modell wählt
Stufe	eine Gruppe von Modellen nach Größe und Preis
Gut genug	für diese Aufgabe oft genug richtig
Aufgezeichneter Fall	eine Anfrage mit der Stufe, die eine Person gewählt hat
Abweichung	ein Fall, in dem Router und Person sich unterscheiden
Hülle	der Code um einen Aufruf, der die Regeln hinzufügt

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Ein Router ist eine einfache Regel

Beginnen Sie mit einer lesbaren Regel. Ein kurzer Text oder eine Zuordnungsaufgabe geht an die Stufe klein. Ein langer Text oder eine Schlussfolgerungsaufgabe geht an die Stufe gross. Der Rest geht an die Stufe mittel.

Eine Regel nach Größe und Aufgabe ist billig, sofort da und leicht zu erklären. Man kann auch ein kleines Modell wählen lassen, doch das fügt jeder Anfrage einen Aufruf hinzu. Probieren Sie also zuerst die Regel.

Durchgerechnetes Beispiel: die Regel an vier Anfragen

Anfrage	Aufgabe	Größe	Stufe
Ein Ticket zuordnen	klassifizieren	150 Zeichen	klein
Eine Seite zusammenfassen	zusammenfassen	1500 Zeichen	mittel
Eine Migration planen	schlussfolgern	900 Zeichen	gross
Einen langen Bericht zusammenfassen	zusammenfassen	5000 Zeichen	gross

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Die Regel an Fällen prüfen

Ein Router spart Geld und kann Qualität kosten, also testen Sie ihn. Halten Sie aufgezeichnete Fälle bereit: eine Anfrage, ihre Größe und Aufgabe und die Stufe, die eine Person für nötig hält. Lassen Sie den Router darüber laufen. Listen Sie die Abweichungen auf und summieren Sie die Kosten.

Eine Abweichung ist nicht immer ein Fehler der Regel. Lesen Sie jede. Dann ändern Sie die Regel oder den Fall.

Ein häufiger Fehler

Warnung

Viele glauben, das billigste Modell sei immer die beste Ersparnis. Ein billiges Modell, das schlecht antwortet, kostet eine Wiederholung, eine Beschwerde oder eine verlorene Person. Gehen Sie nur dort eine Stufe tiefer, wo aufgezeichnete Fälle zeigen, dass die Antwort noch genügt.