KI-Glossar
LoRA (Low-Rank Adaptation)
LoRA ist ein Weg, ein Modell anzupassen, indem kleine zusätzliche Matrizen neben seinen eingefrorenen Gewichten trainiert werden, was viel weniger Speicher braucht.
Statt eine riesige Gewichtsmatrix zu ändern, lernt LoRA zwei schmale Matrizen, deren Produkt addiert wird. Nur diese werden trainiert, oft deutlich unter einem Prozent der Parameter.
Das Ergebnis ist eine kleine Adapter-Datei, die sich ein- und ausstecken lässt, sodass ein Basismodell mehreren Aufgaben dient.
Ein Adapter gehört zu seinem Basismodell. Auf eine andere Basis gesetzt, selbst eine neuere Version derselben Familie, funktioniert er nicht wie trainiert.
Praktisch lernen
Diese kostenlosen Lektionen lehren es mit Befehlen für ein Labor und geprüften Aufgaben. Ohne Konto vollständig lesbar.