KI-Glossar
Lokales Modell
Ein lokales Modell ist ein Sprachmodell, das auf Hardware läuft, die Sie kontrollieren, Laptop, Server oder eigene Cloud-Maschine, statt hinter der API eines anderen.
Sie laden offene Gewichte, oft quantisiert, und stellen sie mit einem Inferenzserver bereit, der eine API ähnlich der eines gehosteten Dienstes bietet, sodass sich Ihr Code kaum ändert.
Sie gewinnen Datenschutz, Kontrolle über Versionen und keine Kosten pro Token. Sie zahlen mit Hardware, eigenem Betriebsaufwand und meist einem kleineren Modell.
Rechnen Sie vorher nach: Eine Maschine, die die meiste Zeit des Tages ungenutzt steht, kann mehr kosten als Bezahlung pro Aufruf.
Praktisch lernen
Diese kostenlosen Lektionen lehren es mit Befehlen für ein Labor und geprüften Aufgaben. Ohne Konto vollständig lesbar.