Kostenloses Modul
Kosten, Tracing und Zuverlässigkeit
Lernen Sie Kosten, Tracing und Zuverlässigkeit von LLM-Funktionen praktisch: Spans, Cache, Budgets, Latenz, Ausweichlösungen und Routing.
Die Lektionen
Jede Lektion lesen Sie kostenlos vollständig. Mit einem kostenlosen Konto führen Sie die Befehle in einem Lab aus und lösen die Quizze und Aufgaben.
1 · Container-Lab
Einen Modellaufruf nachverfolgen
Ich kann aufzeichnen, was jeder Aufruf getan hat, um die Quelle eines Fehlers oder einer Verzögerung zu finden.
Lektion lesen2 · Container-Lab
Modellantworten im Cache speichern
Ich kann Modellantworten sicher zwischenspeichern und genau sagen, was einen Treffer ausmacht.
Lektion lesen3 · Container-Lab
Token-Kosten und Budgets für LLMs
Ich kann verhindern, dass eine Funktion zu viel ausgibt, mit einem Limit je Nutzer, einem Tageslimit und einer klaren Meldung.
Lektion lesen4 · Container-Lab
Latenz, Zeitlimits und Perzentile
Ich kann sagen, wohin die Zeit bei einem Modellaufruf geht, und aus aufgezeichneten Dauern ein Zeitlimit festlegen.
Lektion lesen5 · Container-Lab
Ausweichlösungen, wenn ein Aufruf scheitert
Ich kann eine Funktion am Laufen halten, wenn ein Modellaufruf scheitert, indem ich für jede Fehlerart eine Ausweichlösung wähle.
Lektion lesen6 · Container-Lab
Anfragen per Routing auf Modelle verteilen
Ich kann jede Anfrage an das günstigste ausreichende Modell weiterleiten und die Wahl an aufgezeichneten Fällen prüfen.
Lektion lesen
In einem echten Lab bearbeitet
Jede Lektion dieses Moduls wird in einem Lab bearbeitet, das nur für Sie startet. Die genutzten Labs:
Sie unterrichten eine Gruppe? Weisen Sie dieses Modul Ihren Studierenden zu, mit Handbuch für Lehrende, automatisch geprüften Aufgaben und einem Lab für jede Person.