Ein Viertel der Bytes
Int8-Quantisierung speichert jedes Gewicht eines Sprachmodells als ganze Zahl von -127 bis 127 in einem Byte. Eine Skala macht daraus wieder eine reelle Zahl.
Decode liest in jedem Durchlauf jedes Gewicht, ein Viertel der Bytes heißt also ein Viertel des Lesens. Die Frage ist, was es an Genauigkeit kostet.
Am Ende dieser Lektion
Notiz
Ich kann eine Zeile Gewichte auf int8 quantisieren und den Fehler messen.
Schlüsselwörter
| Begriff | Was er bedeutet |
|---|---|
| Int8 | eine ganze Zahl, die in einem Byte gespeichert wird |
| Skala | die Zahl, mit der ein int8-Wert multipliziert wird, um ihn zurückzuerhalten |
| Quantisieren | reelle Zahlen mit einer Skala in int8-Werte verwandeln |
| Dequantisieren | int8-Werte wieder mit der Skala multiplizieren |
| Skala pro Zeile | eine eigene Skala für jede Zeile einer Matrix |
| Ausreißer | ein Wert, der viel größer ist als die übrigen |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Eine Skala bildet jede Zeile auf int8 ab
Suchen Sie den größten Betrag in der Zeile. Teilen Sie ihn durch 127, das ergibt die Skala. Teilen Sie jede Zahl durch die Skala und runden Sie: Das ist ihr int8-Wert.
Um eine Zahl zurückzuerhalten, multiplizieren Sie ihren int8-Wert mit der Skala. Der größte Wert kommt genau zurück. Jeder andere Wert weicht ein wenig ab, höchstens um eine halbe Skala.
Beispiel: eine Zeile mit vier Gewichten
| Gewicht | Geteilt durch Skala 0,00945 | Int8 | Zurückgerechnet | Fehler |
|---|---|---|---|---|
| 0,30 | 31,75 | 32 | 0,30236 | 0,00236 |
| -1,20 | -127 | -127 | -1,2 | 0 |
| 0,07 | 7,41 | 7 | 0,06614 | 0,00386 |
| 0,50 | 52,92 | 53 | 0,50079 | 0,00079 |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Probieren Sie es: eine Zeile quantisieren
# Eine Zeile Gewichte, mit eigener Skala auf int8 quantisiert.
zeile = [0.30, -1.20, 0.07, 0.50]
groesster = 0
for x in zeile:
groesster = max(groesster, abs(x))
skala = groesster / 127
ganze = []
for x in zeile:
ganze.append(round(x / skala))
print("Skala:", round(skala, 5))
print("int8-Werte:", ganze)
zurueck = []
for n in ganze:
zurueck.append(round(n * skala, 5))
print("zurückgerechnet:", zurueck)
# Ändern Sie 0.07 in 0.004. Was passiert damit?
Das ganze Modell quantisieren und vergleichen
Das Labor quantisiert jede der fünf Gewichtsmatrizen des Modells, mit einer Skala pro Zeile. Es gibt den größten Fehler jeder Matrix aus und die Bytes vorher und nachher, Skalen eingerechnet.
Dann stellt es die eigentliche Frage: Wählt das Modell noch dasselbe nächste Zeichen? Es prüft jede Stelle der ersten 64 Zeichen seines Textes und schreibt dann eine Antwort auf beide Arten.
Das Modell auf int8 quantisieren
docker exec jupyter python3 steps/quantise.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Was der Run ausgab
| Messgröße | Ergebnis |
|---|---|
| Bytes als float32 | 12.108 |
| Bytes als int8, Skalen eingerechnet | 3.543 |
| Größter Fehler eines Gewichts | 0,00221 bis 0,03771 |
| Dasselbe nächste Zeichen | an 64 von 64 Stellen |
| Antwort auf „the cat “, beide Arten | sat on the mat. the dog |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Ein großer Wert verdirbt eine gemeinsame Skala
Mit einer Skala für eine ganze Matrix bestimmt ihr größter Wert den Abstand zwischen den Stufen. Ist ein Gewicht viel größer als die übrigen, wird der Abstand weit, und kleine Gewichte verlieren ihre Feinheit.
Eine Skala pro Zeile beschränkt den Schaden auf diese eine Zeile. Das Labor setzt ein Gewicht auf 40 und misst den mittleren Fehler auf beide Arten.
Eine Skala gegen eine Skala pro Zeile
docker exec jupyter python3 steps/outlier.pyHier angezeigt, nicht ausgeführt. Mit „Lab starten“ geben Sie ihn im Terminal Ihres eigenen Labs ein.
Beispiel: mittlerer Fehler der letzten Matrix
| Matrix | Eine Skala | Eine Skala pro Zeile |
|---|---|---|
| Wie trainiert | 0,0194 | 0,00617 |
| Ein Wert auf 40 gesetzt | 0,0782 | 0,00702 |
Die Zellen, die Lernende ausfüllen, bleiben in dieser Vorschau leer.
Ein häufiger Fehler
Warnung
Viele glauben, int8 mache ein Modell schneller, weil Rechnungen mit ganzen Zahlen schneller sind. Beim Decode kommt der Gewinn vor allem daher, dass nur ein Viertel der Bytes gelesen wird. Eine Maschine, die int8 für jede Rechnung zurück in float32 wandelt, liest trotzdem weniger und wird trotzdem schneller.