KI-Vergleich
Lokales Modell oder API
Ein lokales Modell hält Daten und Versionen unter Ihrer Kontrolle, auf Kosten von Hardware und Betrieb; eine gehostete API bietet größere Modelle ohne Server, bezahlt pro Token.
| Aspekt | Lokales Modell | Gehostete API |
|---|---|---|
| Wohin die Daten gehen | Bleiben auf Ihren Rechnern | Gehen an den Anbieter |
| Kostenform | Hardware und Strom, genutzt oder nicht | Pro Token, nur bei Nutzung |
| Modellgröße | Begrenzt durch Ihren Speicher | Bis zu den größten verfügbaren |
| Versionswechsel | Nur wenn Sie wechseln | Wenn der Anbieter ein Modell ändert oder abschaltet |
Lokales Modell wählen, wenn
- Daten dürfen Ihr Netz nicht verlassen
- Die Nutzung ist gleichmäßig und hoch genug, um Hardware auszulasten
- Sie brauchen lange Zeit eine feste Version
Gehostete API wählen, wenn
- Sie brauchen die stärksten Modelle
- Die Nutzung ist gering oder ungleichmäßig
- Sie wollen keine Inferenzserver betreiben
Praktisch lernen
Diese kostenlosen Lektionen lehren es mit Befehlen für ein Labor und geprüften Aufgaben. Ohne Konto vollständig lesbar.
Verwandte Begriffe
- Lokales Modell
- Ein lokales Modell ist ein Sprachmodell, das auf Hardware läuft, die Sie kontrollieren, Laptop, Server oder eigene Cloud-Maschine, statt hinter der API eines anderen.
- Offene Gewichte (Open Weights)
- Ein Modell mit offenen Gewichten ist eines, dessen trainierte Parameter zum Herunterladen veröffentlicht sind, sodass Sie es auf eigenen Rechnern betreiben, untersuchen und anpassen können.
- Quantisierung
- Quantisierung speichert die Gewichte eines Modells mit weniger Bits, etwa 4 statt 16, damit es weniger Speicher braucht und schneller läuft, bei leichtem Qualitätsverlust.