Zwei Zahlen, die leicht zu schönen sind
Die Latenz eines LLM zu messen heißt zu stoppen, wie lange eine Person auf das erste Token wartet und wie schnell der Rest kommt. Die zwei üblichen Zahlen sind die Zeit bis zum ersten Token und die Token pro Sekunde.
Beide Zahlen lassen sich leicht besser aussehen lassen, als sie sind. Wo die Uhr startet und welche Token gezählt werden, ändert sie stärker als jede Beschleunigung.
Am Ende dieser Lektion
Notiz
Ich kann aus Token-Zeiten die Zeit bis zum ersten Token und die Token pro Sekunde berechnen.
Schlüsselwörter
| Begriff | Was er bedeutet |
|---|---|
| Latenz | wie lange jemand wartet |
| Zeit bis zum ersten Token | die Wartezeit vom Senden einer Anfrage bis zum ersten Token |
| Token pro Sekunde | Ausgabetoken geteilt durch die Sekunden, die sie brauchten |
| Abstand zwischen Token | die Zeit zwischen zwei Token einer Antwort |
| Aufwärmen | ein erster Lauf, der Dinge lädt und langsamer ist |
| Median | der mittlere Wert, wenn die Werte sortiert sind |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Die Uhr startet, wenn die Anfrage ankommt
Die Zeit bis zum ersten Token ist das, was eine Person als „Tut sich etwas?“ spürt. Sie reicht von der Ankunft der Anfrage bis zum ersten Token. Sie enthält jede Wartezeit in einer Warteschlange, dann den Prefill-Durchlauf, dann den ersten Decode-Schritt.
Ein Server, der seine Uhr erst mit Beginn der Arbeit startet, versteckt die Warteschlange. Auf einem ausgelasteten Server kann die Warteschlange der größte Teil der Wartezeit sein.
Die Zahlen einer Anfrage berechnen
docker exec jupyter python3 steps/latency.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Beispiel: eine Anfrage auf einer simulierten Uhr
| Messgröße | Wert | Ehrlich? |
|---|---|---|
| Zeit bis zum ersten Token, ab Ankunft | 345 ms | Ja |
| Zeit bis zum ersten Token, ab Beginn der Arbeit | 225 ms | Nein: versteckt 120 ms Warteschlange |
| Decode-Tempo, nach dem ersten Token | 40,0 Token pro Sekunde | Ja, für Decode |
| Ganze Anfrage, nur Ausgabetoken | 31,8 Token pro Sekunde | Ja, für die Person |
| Eingabe als Ausgabe gezählt | 286,6 Token pro Sekunde | Nein |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Nur die Token zählen, die das Modell schrieb
Das Decode-Tempo sind die Ausgabetoken nach dem ersten, geteilt durch die Zeit vom ersten bis zum letzten Token. Hier sind das 49 Token in 1,225 Sekunden, also 40,0 pro Sekunde.
Das Tempo der ganzen Anfrage teilt alle 50 Ausgabetoken durch die Zeit ab Ankunft: 31,8 pro Sekunde. Beide sind ehrlich und beantworten verschiedene Fragen. Sagen Sie, welche Sie angeben.
Ein häufiger Fehler
Warnung
Viele zählen die Token der Eingabe in die Token pro Sekunde, weil das Modell sie ja verarbeitet hat. Hier wurden so aus 31,8 plötzlich 286,6. Eingabetoken werden in einem schnellen Durchlauf gelesen. Geben Sie Ausgabetoken pro Sekunde an und nennen Sie die Länge der Eingabe daneben.
Echte Uhren brauchen Aufwärmen und Wiederholungen
Eine echte Zeitmessung liefert bei jedem Lauf eine andere Zahl. Der erste Lauf ist oft langsam, weil Code und Daten geladen werden. Ein einzelner Lauf kann auch von einem anderen Programm gestört werden.
Laufen Sie deshalb einmal zum Aufwärmen und verwerfen Sie das Ergebnis. Wiederholen Sie mehrmals und geben Sie den Median an, den ein einzelner Ausreißer nicht verschiebt. Nennen Sie die Maschine und die Einstellungen, denn eine andere Maschine liefert andere Zahlen.
Probieren Sie es: Mittelwert gegen Median
# Acht Messungen derselben Anfrage, in Millisekunden. Die erste war kalt.
laeufe = [41.0, 12.5, 12.1, 13.0, 12.4, 30.2, 12.6, 12.3]
summe = 0
for einer in laeufe:
summe = summe + einer
print("Mittelwert aller Läufe:", round(summe / len(laeufe), 2))
warm = sorted(laeufe[1:])
print("Mitte der warmen Läufe:", warm[len(warm) // 2])
# Ändern Sie 30.2 in 300. Welche Zahl bewegt sich, welche bleibt?
Das winzige Modell wirklich stoppen
Öffnen Sie im Labor JupyterLab und das Notebook start.ipynb, und führen Sie die Zelle unter Real timings aus. Sie misst Prefill, einen Decode-Schritt und drei Stapelgrößen mit einer echten Uhr. Sie wärmt zuerst auf, wiederholt siebenmal und gibt den mittleren Wert aus.
Ihre Zahlen weichen von denen Ihrer Sitznachbarn ab und von einem Lauf zum nächsten. Genau deshalb zählen die Skripte in steps Arbeit statt Zeit.