Chunking
Chunking bezeichnet das Aufteilen längerer Dokumente oder Texte in kleinere Abschnitte, die von einer Such- oder KI-Anwendung verarbeitet werden können.
Einfach erklärt
Für RAG-Systeme ist die Aufteilung entscheidend, weil nicht jedes Modell bei jeder Anfrage ein komplettes Dokument verarbeiten soll. Zu große Abschnitte können die Suche unpräzise machen. Zu kleine Abschnitte verlieren dagegen Zusammenhang. Gute Grenzen orientieren sich deshalb möglichst an der inhaltlichen Struktur.
Bedeutung für Unternehmen
In einer Unternehmens-Wissensdatenbank sollte Chunking nicht isoliert betrachtet werden. Dokumenttyp, Überschriften, Tabellen, Seitenstruktur, Metadaten und die spätere Antwortdarstellung beeinflussen, welche Aufteilung sinnvoll ist.
Verwandte Begriffe: Embeddings · Retrieval · Vektordatenbank
Noch Fragen? Sprechen Sie mit jemandem, der das System baut.
Kein Vertriebsskript. Innerhalb von zwei Werktagen meldet sich Ihr Ansprechpartner aus dem Engineering-Team, per E-Mail oder telefonisch.