KI-Glossar
Quantisierung
Quantisierung speichert die Gewichte eines Modells mit weniger Bits, etwa 4 statt 16, damit es weniger Speicher braucht und schneller läuft, bei leichtem Qualitätsverlust.
Ein Modell mit 7 Milliarden Parametern braucht bei 16 Bit etwa 14 GB nur für die Gewichte. Bei 4 Bit sind es etwa 4 GB, die auf einen gewöhnlichen Laptop passen.
Der Verlust ist bei 8 Bit meist gering und bei 4 Bit oder weniger für manche Aufgaben spürbar. Messen Sie ihn an Ihrer eigenen Aufgabe statt an einer allgemeinen Rangliste.
Die Gewichte sind nicht der ganze Speicher: Der Kontext, als Key-Value-Cache gehalten, wächst mit jedem Token, sodass ein langer Prompt auch ein quantisiertes Modell an die Grenze bringen kann.
Praktisch lernen
Diese kostenlosen Lektionen lehren es mit Befehlen für ein Labor und geprüften Aufgaben. Ohne Konto vollständig lesbar.