Lässt es sich mit cremefarbenem Papier, einer Tönung, mehr Kontrast oder größerer Schrift besser lesen? Wählen Sie Ihre Farben und Ihre Schrift, einmalig für alle Seiten.

Kostenlose Lektion

Latenz und Durchsatz eines LLM messen

Nach dieser Lektion: Ich kann aus Token-Zeiten die Zeit bis zum ersten Token und die Token pro Sekunde berechnen.

Lektion, 60 Min.1 BefehlLLM-Inferenz-Lab: ein winziges Sprachmodell auf einer CPU, mit KV-Cache, Batching und int8

Zwei Zahlen, die leicht zu schönen sind

Die Latenz eines LLM zu messen heißt zu stoppen, wie lange eine Person auf das erste Token wartet und wie schnell der Rest kommt. Die zwei üblichen Zahlen sind die Zeit bis zum ersten Token und die Token pro Sekunde.

Beide Zahlen lassen sich leicht besser aussehen lassen, als sie sind. Wo die Uhr startet und welche Token gezählt werden, ändert sie stärker als jede Beschleunigung.

Am Ende dieser Lektion

Notiz

Ich kann aus Token-Zeiten die Zeit bis zum ersten Token und die Token pro Sekunde berechnen.

Schlüsselwörter

BegriffWas er bedeutet
Latenzwie lange jemand wartet
Zeit bis zum ersten Tokendie Wartezeit vom Senden einer Anfrage bis zum ersten Token
Token pro SekundeAusgabetoken geteilt durch die Sekunden, die sie brauchten
Abstand zwischen Tokendie Zeit zwischen zwei Token einer Antwort
Aufwärmenein erster Lauf, der Dinge lädt und langsamer ist
Mediander mittlere Wert, wenn die Werte sortiert sind

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Die Uhr startet, wenn die Anfrage ankommt

Die Zeit bis zum ersten Token ist das, was eine Person als „Tut sich etwas?“ spürt. Sie reicht von der Ankunft der Anfrage bis zum ersten Token. Sie enthält jede Wartezeit in einer Warteschlange, dann den Prefill-Durchlauf, dann den ersten Decode-Schritt.

Ein Server, der seine Uhr erst mit Beginn der Arbeit startet, versteckt die Warteschlange. Auf einem ausgelasteten Server kann die Warteschlange der größte Teil der Wartezeit sein.

Die Zahlen einer Anfrage berechnen

Befehl
docker exec jupyter python3 steps/latency.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Beispiel: eine Anfrage auf einer simulierten Uhr

MessgrößeWertEhrlich?
Zeit bis zum ersten Token, ab Ankunft345 msJa
Zeit bis zum ersten Token, ab Beginn der Arbeit225 msNein: versteckt 120 ms Warteschlange
Decode-Tempo, nach dem ersten Token40,0 Token pro SekundeJa, für Decode
Ganze Anfrage, nur Ausgabetoken31,8 Token pro SekundeJa, für die Person
Eingabe als Ausgabe gezählt286,6 Token pro SekundeNein

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Nur die Token zählen, die das Modell schrieb

Das Decode-Tempo sind die Ausgabetoken nach dem ersten, geteilt durch die Zeit vom ersten bis zum letzten Token. Hier sind das 49 Token in 1,225 Sekunden, also 40,0 pro Sekunde.

Das Tempo der ganzen Anfrage teilt alle 50 Ausgabetoken durch die Zeit ab Ankunft: 31,8 pro Sekunde. Beide sind ehrlich und beantworten verschiedene Fragen. Sagen Sie, welche Sie angeben.

Ein häufiger Fehler

Warnung

Viele zählen die Token der Eingabe in die Token pro Sekunde, weil das Modell sie ja verarbeitet hat. Hier wurden so aus 31,8 plötzlich 286,6. Eingabetoken werden in einem schnellen Durchlauf gelesen. Geben Sie Ausgabetoken pro Sekunde an und nennen Sie die Länge der Eingabe daneben.

Echte Uhren brauchen Aufwärmen und Wiederholungen

Eine echte Zeitmessung liefert bei jedem Lauf eine andere Zahl. Der erste Lauf ist oft langsam, weil Code und Daten geladen werden. Ein einzelner Lauf kann auch von einem anderen Programm gestört werden.

Laufen Sie deshalb einmal zum Aufwärmen und verwerfen Sie das Ergebnis. Wiederholen Sie mehrmals und geben Sie den Median an, den ein einzelner Ausreißer nicht verschiebt. Nennen Sie die Maschine und die Einstellungen, denn eine andere Maschine liefert andere Zahlen.

Probieren Sie es: Mittelwert gegen Median

Code: python
# Acht Messungen derselben Anfrage, in Millisekunden. Die erste war kalt.
laeufe = [41.0, 12.5, 12.1, 13.0, 12.4, 30.2, 12.6, 12.3]
summe = 0
for einer in laeufe:
    summe = summe + einer
print("Mittelwert aller Läufe:", round(summe / len(laeufe), 2))
warm = sorted(laeufe[1:])
print("Mitte der warmen Läufe:", warm[len(warm) // 2])
# Ändern Sie 30.2 in 300. Welche Zahl bewegt sich, welche bleibt?

Das winzige Modell wirklich stoppen

Öffnen Sie im Labor JupyterLab und das Notebook start.ipynb, und führen Sie die Zelle unter Real timings aus. Sie misst Prefill, einen Decode-Schritt und drei Stapelgrößen mit einer echten Uhr. Sie wärmt zuerst auf, wiederholt siebenmal und gibt den mittleren Wert aus.

Ihre Zahlen weichen von denen Ihrer Sitznachbarn ab und von einem Lauf zum nächsten. Genau deshalb zählen die Skripte in steps Arbeit statt Zeit.

Über dieses Lab und seinen Quellcode: LLM-Inferenz-Lab: ein winziges Sprachmodell auf einer CPU, mit KV-Cache, Batching und int8

Sie unterrichten eine Gruppe? Weisen Sie dieses Modul Ihren Studierenden zu, mit Handbuch für Lehrende, automatisch geprüften Aufgaben und einem Lab für jede Person.