Chunking
Ir para notas que citam estaChunking é dividir um documento em pedaços menores com significado próprio, com sobreposição entre vizinhos, para que cada pedaço seja vetorizado e recuperado sozinho num RAG.
No Pipeline de RAG, o chunking vem logo depois da extração do texto e antes dos Embeddings. Ele existe porque o documento inteiro não serve como unidade de busca: vetorizar um texto longo de uma vez gera um vetor que aponta só para a ideia geral, a busca fica inviável, e enviar tudo ao modelo custa caro em tokens e tempo. Com o documento fatiado, cada pergunta recupera apenas os trechos que interessam.
Chunking não é filtro de conteúdo: não decide o que pode ou não ser dito. É uma forma de agrupar informações que fazem sentido juntas, como capítulos de um livro. Uma pergunta ligada a um capítulo encontra aquele pedaço por busca semântica e o leva inteiro como contexto da resposta. Definir o que é um pedaço com significado é a parte mais difícil do processo, e está mais perto da engenharia de dados do que da IA.
Tamanho do chunk e overlap
Dois parâmetros governam o fatiamento por tamanho fixo. O tamanho do chunk define quantos caracteres, ou tokens, cabem em cada pedaço; um exemplo didático usa 200 caracteres. O overlap define quanto do final de um chunk se repete no início do seguinte; no mesmo exemplo, 20 caracteres.
O overlap funciona como uma janela deslizante. Sem ele, uma frase pode ficar com o começo no fim de um chunk e o resto no início do próximo, e cada metade perde o sentido. Há duas estratégias: sobrepor só uma fração entre vizinhos ou juntar dois ou três chunks inteiros na hora da busca. O overlap pesa tanto na qualidade quanto o tamanho do chunk e o score mínimo de similaridade.
Chunk maior dá mais contexto ao modelo, mas aumenta custo e o risco de sobrecarregar a memória dele. Chunk menor pode cortar informação relevante ao meio. A escolha depende do projeto e da fonte de dados.
A granularidade também muda o resultado: dividir por parágrafo tende a ser mais preciso que por página, e assunto espalhado pelo texto pede pedaços menores. A quantidade de chunks entregue ao modelo é outro parâmetro, por exemplo 5 páginas contra 20 parágrafos. Um ajuste malfeito deixa a resposta estranha e favorece a Alucinação. Até serviços que automatizam o pipeline costumam exigir que o usuário configure tamanho e percentual de overlap.
Quebra semântica e quebra pela estrutura
Corte por tamanho fixo ignora a forma do documento. Com blocos de 1000 tokens, páginas com títulos grandes geram pedaços desiguais em relação às de texto corrido. As alternativas partem do próprio conteúdo:
- Quebra semântica. O SemanticChunker do LangChain analisa o texto e decide sozinho onde cada pedaço começa e termina, sem tamanho fixo informado pelo desenvolvedor.
- Quebra pela estrutura. Em textos em Markdown, como uma Constituição, dá para cortar por título ou por parágrafo.
- Quebra pelo tipo de conteúdo. Um livro tem sequência de início, meio e fim e é mais simples de dividir. Um artigo científico, cheio de referências cruzadas, é mais difícil. Código-fonte é mais bem dividido reconhecendo a estrutura da linguagem do que por corte de caracteres.
Antes de fatiar, documentos e imagens costumam ser convertidos para Markdown, com a formatação dentro do próprio texto. O cuidado principal é declarar o encoding certo, como UTF-8.
Metadados junto aos chunks
Um chunk só com texto não diz de onde veio. Guardar metadados, como documento de origem, artigo ou número de linha, torna a resposta rastreável e o sistema mais robusto, o que importa sobretudo em textos jurídicos e científicos, onde a referência exata faz parte da resposta.