Un modelo de lenguaje no puede buscar de una vez en un manual de cien páginas. Por eso los sistemas RAG cortan antes el texto en fragmentos y le pasan al modelo los que mejor encajan con la pregunta. El chunking es el paso donde se decide qué entra en cada fragmento — y con ello, qué llegará a encontrar el sistema.
El efecto es medible y grande. En una medición, solo por trocear el documento largo la calidad de la recuperación sube de 28,2 a 45,7 — 17,5 puntos, sin cambiar nada más. Cortar siguiendo la estructura (títulos, secciones) añade otros 12 puntos encima, y además con casi la mitad de fragmentos.
El error más habitual es quedarse con el valor de fábrica. Las herramientas más extendidas trabajan con fragmentos de 800 y 1.024 tokens, o de 4.000 caracteres — y en una medición independiente el ajuste de 800 quedó en la cola. El fragmento grande empeora de forma monótona: entra más texto y menos parte es relevante.
Las estrategias de corte, el solapamiento y cómo medirlo lo desarrolla Chunking: preparar y dividir tus documentos con detalle. Los conceptos directamente relacionados: chunk overlap, embedding y retrieval.