KI-Glossar
Chunking (Zerlegen)
Chunking zerlegt lange Dokumente vor dem Einbetten in kleinere Abschnitte, damit eine Suche genau den Teil zurückgibt, der eine Frage beantwortet.
Ein ganzes Handbuch hat ein Embedding, das „alles“ bedeutet und zu nichts gut passt. In Abschnitte von einigen hundert Tokens zerlegt, kann jeder Chunk zu seiner Frage passen.
Zerlegt wird nach Größe, mit etwas Überlappung, damit ein Satz nicht von seinem Zusammenhang getrennt wird, oder nach Struktur: Überschriften, Absätze, Funktionen im Code.
Zu klein, und ein Chunk verliert den Zusammenhang, der ihm Sinn gibt; zu groß, und er trägt Rauschen in den Prompt. Die Größe wird getestet, nicht geraten.
Praktisch lernen
Diese kostenlosen Lektionen lehren es mit Befehlen für ein Labor und geprüften Aufgaben. Ohne Konto vollständig lesbar.