KI-Glossar
Token
Ein Token ist das Textstück, in dem ein Sprachmodell liest und schreibt: oft ein Wortteil, ein kurzes ganzes Wort oder ein Satzzeichen.
Bevor das Modell Ihren Prompt sieht, zerlegt ein Tokenizer ihn in Tokens und gibt jedem eine Nummer. „Donaudampfschifffahrt“ sind mehrere Tokens, „Haus“ oft nur eines.
Bezahlt und begrenzt wird in Tokens: Eine API berechnet die gesendeten und empfangenen Tokens, und das Kontextfenster wird in Tokens gemessen. Wer vor dem Aufruf zählt, hält Kosten und Prompt im Rahmen.
Deutsch und Code brauchen oft mehr Tokens pro Wort als Englisch. Ein Budget, das an englischem Text berechnet wurde, reicht für denselben Inhalt auf Deutsch womöglich nicht.
Praktisch lernen
Diese kostenlosen Lektionen lehren es mit Befehlen für ein Labor und geprüften Aufgaben. Ohne Konto vollständig lesbar.