Lässt es sich mit cremefarbenem Papier, einer Tönung, mehr Kontrast oder größerer Schrift besser lesen? Wählen Sie Ihre Farben und Ihre Schrift, einmalig für alle Seiten.

Kostenlose Lektion

Int8-Quantisierung von Hand

Nach dieser Lektion: Ich kann eine Zeile Gewichte auf int8 quantisieren und den Fehler messen.

Lektion, 60 Min.2 BefehleLLM-Inferenz-Lab: ein winziges Sprachmodell auf einer CPU, mit KV-Cache, Batching und int8

Ein Viertel der Bytes

Int8-Quantisierung speichert jedes Gewicht eines Sprachmodells als ganze Zahl von -127 bis 127 in einem Byte. Eine Skala macht daraus wieder eine reelle Zahl.

Decode liest in jedem Durchlauf jedes Gewicht, ein Viertel der Bytes heißt also ein Viertel des Lesens. Die Frage ist, was es an Genauigkeit kostet.

Am Ende dieser Lektion

Notiz

Ich kann eine Zeile Gewichte auf int8 quantisieren und den Fehler messen.

Schlüsselwörter

BegriffWas er bedeutet
Int8eine ganze Zahl, die in einem Byte gespeichert wird
Skaladie Zahl, mit der ein int8-Wert multipliziert wird, um ihn zurückzuerhalten
Quantisierenreelle Zahlen mit einer Skala in int8-Werte verwandeln
Dequantisierenint8-Werte wieder mit der Skala multiplizieren
Skala pro Zeileeine eigene Skala für jede Zeile einer Matrix
Ausreißerein Wert, der viel größer ist als die übrigen

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Eine Skala bildet jede Zeile auf int8 ab

Suchen Sie den größten Betrag in der Zeile. Teilen Sie ihn durch 127, das ergibt die Skala. Teilen Sie jede Zahl durch die Skala und runden Sie: Das ist ihr int8-Wert.

Um eine Zahl zurückzuerhalten, multiplizieren Sie ihren int8-Wert mit der Skala. Der größte Wert kommt genau zurück. Jeder andere Wert weicht ein wenig ab, höchstens um eine halbe Skala.

Beispiel: eine Zeile mit vier Gewichten

GewichtGeteilt durch Skala 0,00945Int8ZurückgerechnetFehler
0,3031,75320,302360,00236
-1,20-127-127-1,20
0,077,4170,066140,00386
0,5052,92530,500790,00079

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Probieren Sie es: eine Zeile quantisieren

Code: python
# Eine Zeile Gewichte, mit eigener Skala auf int8 quantisiert.
zeile = [0.30, -1.20, 0.07, 0.50]
groesster = 0
for x in zeile:
    groesster = max(groesster, abs(x))
skala = groesster / 127
ganze = []
for x in zeile:
    ganze.append(round(x / skala))
print("Skala:", round(skala, 5))
print("int8-Werte:", ganze)
zurueck = []
for n in ganze:
    zurueck.append(round(n * skala, 5))
print("zurückgerechnet:", zurueck)
# Ändern Sie 0.07 in 0.004. Was passiert damit?

Das ganze Modell quantisieren und vergleichen

Das Labor quantisiert jede der fünf Gewichtsmatrizen des Modells, mit einer Skala pro Zeile. Es gibt den größten Fehler jeder Matrix aus und die Bytes vorher und nachher, Skalen eingerechnet.

Dann stellt es die eigentliche Frage: Wählt das Modell noch dasselbe nächste Zeichen? Es prüft jede Stelle der ersten 64 Zeichen seines Textes und schreibt dann eine Antwort auf beide Arten.

Das Modell auf int8 quantisieren

Befehl
docker exec jupyter python3 steps/quantise.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Was der Run ausgab

MessgrößeErgebnis
Bytes als float3212.108
Bytes als int8, Skalen eingerechnet3.543
Größter Fehler eines Gewichts0,00221 bis 0,03771
Dasselbe nächste Zeichenan 64 von 64 Stellen
Antwort auf „the cat “, beide Artensat on the mat. the dog

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Ein großer Wert verdirbt eine gemeinsame Skala

Mit einer Skala für eine ganze Matrix bestimmt ihr größter Wert den Abstand zwischen den Stufen. Ist ein Gewicht viel größer als die übrigen, wird der Abstand weit, und kleine Gewichte verlieren ihre Feinheit.

Eine Skala pro Zeile beschränkt den Schaden auf diese eine Zeile. Das Labor setzt ein Gewicht auf 40 und misst den mittleren Fehler auf beide Arten.

Eine Skala gegen eine Skala pro Zeile

Befehl
docker exec jupyter python3 steps/outlier.py

Hier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.

Beispiel: mittlerer Fehler der letzten Matrix

MatrixEine SkalaEine Skala pro Zeile
Wie trainiert0,01940,00617
Ein Wert auf 40 gesetzt0,07820,00702

Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.

Ein häufiger Fehler

Warnung

Viele glauben, int8 mache ein Modell schneller, weil Rechnungen mit ganzen Zahlen schneller sind. Beim Decode kommt der Gewinn vor allem daher, dass nur ein Viertel der Bytes gelesen wird. Eine Maschine, die int8 für jede Rechnung zurück in float32 wandelt, liest trotzdem weniger und wird trotzdem schneller.

Über dieses Lab und seinen Quellcode: LLM-Inferenz-Lab: ein winziges Sprachmodell auf einer CPU, mit KV-Cache, Batching und int8

Sie unterrichten eine Gruppe? Weisen Sie dieses Modul Ihren Studierenden zu, mit Handbuch für Lehrende, automatisch geprüften Aufgaben und einem Lab für jede Person.