KI-Glossar
Latenz
Latenz ist die Wartezeit einer Nutzerin auf eine Antwort; bei einem Sprachmodell wird sie meist in Zeit bis zum ersten Token und Gesamtzeit geteilt.
Die Zeit bis zum ersten Token ist die Wartezeit, bevor etwas erscheint. Die Gesamtzeit enthält auch das Erzeugen jedes Tokens der Antwort, eine lange Antwort dauert also auch bei einem schnellen Modell länger.
Latenz summiert sich über Schritte. Eine RAG-Antwort, die einbettet, sucht, neu ordnet und dann das Modell aufruft, zahlt für jeden Schritt; ein Trace zeigt, welcher langsam ist.
Messen Sie Perzentile, keine Durchschnitte: Die langsamste von zwanzig Anfragen ist die, an die sich Nutzer erinnern.
Praktisch lernen
Diese kostenlosen Lektionen lehren es mit Befehlen für ein Labor und geprüften Aufgaben. Ohne Konto vollständig lesbar.