Chunking

Chunking ist der Prozess, ein großes Dokument oder einen Textkörper in kleinere, in sich geschlossene Segmente (sogenannte „Chunks“) aufzuteilen, sodass sie einzeln eingebettet, indexiert und abgerufen werden können. Bei Retrieval-Augmented Generation (RAG) und semantischer Suche bestimmt Chunking die Texteinheit, die ein System speichert und später als Kontext wieder abruft. Dies wiederum beeinflusst direkt, wie relevant und vollständig die abgerufenen Ergebnisse sind.

Kurz gesagt: Chunking entscheidet, wie ein langes Dokument in abrufbare Stücke zerlegt wird, und der richtige Schnitt macht das Retrieval sowohl präzise als auch prägnant (d. h. es kann sich auf Teilmengen des „richtigen“ Dokuments beziehen, die es benötigt).

Wie Chunking funktioniert

Chunking existiert aufgrund zweier Grenzen: Embedding-Modelle und LLM-Kontextfenster können nur eine begrenzte Menge Text auf einmal verarbeiten, und das Retrieval ist am genauesten, wenn jede gespeicherte Einheit thematisch fokussiert ist. Der Prozess läuft typischerweise wie folgt ab:

1. Parsing: Sauberer Text wird aus der Quelle (HTML, PDF usw.) extrahiert, idealerweise unter Beibehaltung der Struktur wie Überschriften, Absätze und Listen.
2. Segmentierung: Der Text wird mithilfe einer gewählten Strategie in Chunks aufgeteilt (siehe unten).
3. Überlappung: Häufig wird eine kleine Menge Text zwischen benachbarten Chunks wiederholt, damit an den Grenzen keine Bedeutung verloren geht.
4. Anreicherung: Jeder Chunk kann mit Metadaten oder umgebendem Kontext (wie Quelle, Abschnittstitel und kurzer Zusammenfassung) versehen werden, um ihn für sich genommen aussagekräftiger zu machen.
5. Embedding und Indexierung: Jeder Chunk wird in eine Vektoreinbettung umgewandelt und in einer Vektordatenbank gespeichert, indexiert für schnelles Nachschlagen.
6. Retrieval: Zur Query-Zeit findet das System die Chunks, deren Embeddings der Query am ähnlichsten sind, und übergibt sie dem Modell als Kontext.

Die entscheidende Spannung ist die Größe: Chunks, die zu groß sind, verwässern die Relevanz und verschwenden Kontext, während Chunks, die zu klein sind, die umgebende Bedeutung verlieren. Gutes Chunking ist die Kunst, beides für einen bestimmten Inhaltstyp auszubalancieren.

Chunking im Vergleich zu Tokenisierung und Embedding

• Tokenisierung teilt Text in Tokens (Untereinheiten von Wörtern) auf, damit ein Modell ihn verarbeiten kann; Chunking teilt Dokumente in Passagen auf, damit ein System sie speichern und abrufen kann. Unterschiedliche Granularität, unterschiedlicher Zweck.
• Embedding wandelt einen Chunk in einen numerischen Vektor um; Chunking ist der vorherige Schritt, der entscheidet, was jede Texteinheit tatsächlich ist. Erst chunken, dann einbetten.
• Chunking mit fester Größe schneidet Text nach einer festgelegten Länge (z. B. einer Anzahl von Tokens oder Zeichen); semantisches Chunking schneidet an Bedeutungsgrenzen, damit jeder Chunk thematisch kohärent bleibt. Ersteres ist einfacher und schneller; Letzteres tendiert dazu, sauberer abzurufen.

Wo Chunking verwendet wird

• Retrieval-Augmented-Generation-(RAG)-Pipelines: Chunking bereitet Quelldokumente vor, sodass die relevantesten Passagen abgerufen und dem Modell zum Zeitpunkt der Antwort zugeführt werden können.
• Semantische und Vektorsuche: Das Suchen über Chunks statt über ganze Dokumente liefert fokussierte, themenbezogene Passagen anstelle weitläufiger Seiten.
• Dokument-Chatbots und Wissensdatenbanken: Die Beantwortung von Fragen zu Handbüchern, Wikis und Support-Dokumenten hängt von gut geformten Chunks ab, um die richtige Antwort hervorzubringen.
• Zusammenfassung und Analyse langer Dokumente: Ein Modell kann nur eine begrenzte Menge Text auf einmal aufnehmen (dies ist als das Kontextfenster des Modells bekannt), sodass ein langes Buch oder ein langer Bericht nicht in einem einzigen Durchgang passt. Chunking ermöglicht es dem Modell, das Buch oder den Bericht Stück für Stück durchzuarbeiten und diese Teilergebnisse dann zu einer einzigen Übersicht zusammenzuführen.

Die Chunking-Strategie wird üblicherweise auf den Inhaltstyp abgestimmt (zum Beispiel werden dichte Prosa, Code, Tabellen und Transkripte jeweils unterschiedlich gechunkt) und ist am wichtigsten, wenn Inhalte zu lang sind, um sie als Ganzes einzugeben. In diesem Fall hängt die Retrieval-Qualität davon ab, fokussierte, in sich geschlossene Passagen zurückzugeben.

Verwandte Begriffe

Retrieval-Augmented Generation (RAG), semantische Suche, Embeddings, Vektordatenbank, Tokenisierung, Kontextfenster, Chunk-Überlappung, Reranking, Indexierung.