KI-Glossar
Inferenz
Inferenz ist das Ausführen eines trainierten Modells, um aus einer Eingabe eine Ausgabe zu erzeugen, im Gegensatz zum Training; das tut jeder API-Aufruf und jeder lokale Lauf.
Bei einem Sprachmodell hat sie zwei Teile: den ganzen Prompt auf einmal lesen, dann die Antwort Token für Token erzeugen. Der erste bestimmt die Wartezeit bis zum ersten Wort, der zweite das Tempo danach.
Ihre Kosten wachsen mit der Modellgröße und mit den Tokens hinein und hinaus, weshalb ein kleineres Modell, ein kürzerer Prompt oder ein Cache die Rechnung stark senken können.
Training geschieht einmal, Inferenz bei jeder Anfrage. Für die meisten Produkte bestimmt die Inferenz die laufenden Kosten.
Praktisch lernen
Diese kostenlosen Lektionen lehren es mit Befehlen für ein Labor und geprüften Aufgaben. Ohne Konto vollständig lesbar.