Egy nyelvi modell nem tud egy százoldalas kézikönyvet egészben keresni. A RAG-rendszerek ezért előbb darabokra vágják a szöveget, és a kérdésre a leginkább illeszkedő darabokat adják oda a modellnek. A chunking az a lépés, ahol eldől, mi kerül egy darabba — és ezzel az is, mit fog a rendszer megtalálni.
A hatása mérhető és nagy. Egy mérés szerint pusztán attól, hogy a hosszú dokumentumot egyáltalán feldarabolod, a visszakeresés minősége 28,2-ről 45,7-re javul — 17,5 pont, minden más változtatás nélkül. A szerkezet szerinti vágás (címsorok, szakaszok mentén) ehhez további 12 pontot tesz hozzá, ráadásul közel fele annyi darabból.
A leggyakoribb hiba a gyári alapbeállítás megtartása. A legelterjedtebb eszközök 800 és 1 024 tokenes, illetve 4 000 karakteres darabokkal dolgoznak — és egy független mérésben a 800-as beállítás a mezőny alján végzett. A nagyobb darab monoton rosszabb: több szöveg kerül be, de kevesebb belőle releváns.
A vágási stratégiákról, az átfedésről és a mérésről a chunking gyakorlata című írás szól részletesen. A közvetlenül kapcsolódó fogalmak: chunk overlap, embedding és retrieval.