Pular para o conteúdo
LabS Atlas
Generative AI
Entrar

Janela de Contexto

Ir para notas que citam esta
atualizado há 10 diasEntre para perguntar ao Labinho sobre esta notaO Labinho é o assistente que responde com as notas e as sessões do LabS e mostra de onde tirou cada resposta.

Janela de contexto é o limite de tokens que um modelo de linguagem recebe e considera numa interação, e define quanto histórico, instrução e documento cabem numa conversa e quanto ela custa.

Tudo o que o modelo usa para responder precisa estar dentro dessa janela: o prompt, as mensagens anteriores, os trechos recuperados de uma base e os arquivos anexados. Como a unidade de medida é o token, a janela é ao mesmo tempo um limite técnico e uma conta a pagar. Cada informação injetada ocupa espaço, entra no custo da chamada e disputa a atenção do modelo com o resto do conteúdo. Gerir a janela é decidir o que entra, o que sai e o que fica guardado fora dela para ser trazido de volta quando for necessário.

Janelas maiores não dispensam a gestão

As janelas cresceram muito: modelos de gerações anteriores trabalhavam na casa das 128 mil tokens, e modelos recentes já chegam a cerca de 1 milhão. Esse aumento colocou em xeque o uso de RAG como única forma de dar acesso a um conteúdo, porque muito mais informação passa a caber direto no prompt.

Janela grande, porém, não é janela bem usada. Pelo mecanismo de atenção dos Transformers, quanto mais contexto acumulado, mais a conversa tende a perder o fio: o modelo esquece informações passadas e responde só ao que foi perguntado por último. E sem recursos como cache, injetar muito conteúdo a cada chamada encarece a aplicação e derruba a performance, a ponto de tornar algumas soluções inviáveis.

Contexto que cresce sem controle

Quando o contexto se afasta demais do problema original, os assuntos se misturam e o modelo passa a fazer associações erradas. Esse efeito é o envenenamento de contexto, e é o principal motivo para não acumular tudo num único prompt.

Memória de agente fora da janela

Em agentes e assistentes, a saída para conversas que ultrapassam a janela é uma memória externa. O mesmo recurso de embeddings serve a dois fins diferentes: vetorizar o conteúdo de referência, para buscas do tipo RAG, e vetorizar o que o agente precisa lembrar entre interações, como em que ponto a tarefa parou quando o contexto acabou.

Sobre essa memória entram pontos de controle (gates) que decidem o que continua no contexto e o que é descartado ao longo da conversa. O fluxo funciona como um diálogo encadeado: envia-se um comando, guarda-se o retorno vetorizado e, na interação seguinte, recupera-se só o histórico relevante junto com o novo comando.

Como as técnicas de especialização aliviam a janela

Engenharia de prompt, RAG e fine-tuning combinam-se numa mesma aplicação, e cada uma afeta a janela de um jeito:

  • Engenharia de prompt continua sendo a base: descrever com precisão o que se quer evita gastar tokens com instrução vaga.
  • RAG aumenta o contexto de forma dinâmica e coerente com a pergunta. Versões mais restritas, como o RAG baseado em grafo, servem justamente para conter o crescimento do escopo.
  • Fine-tuning entra quando o RAG repete sempre o mesmo conteúdo: esse conhecimento vai para dentro do modelo e sai da janela, o que barateia cada chamada. O custo é deixar o modelo enviesado para aquele assunto e menos reutilizável.

Tamanho e idioma do texto pesam no consumo

Todo texto lido pelo modelo consome tokens, inclusive instruções reutilizáveis como as skills. Quanto mais enxuto o texto, menor o gasto para o modelo entender a tarefa. O inglês tende a sair mais barato que o português, por estar mais bem representado nos dados que formaram o vocabulário do tokenizador: no GPT-4 o mesmo texto em português ocupava cerca de 1,5 vez os tokens do inglês, e no GPT-4o a diferença caiu para algo entre 10% e 35%, conforme o texto. É a Desigualdade de Tokenização entre Idiomas, que também reduz quanto conteúdo cabe na janela. Mesmo assim, escrever em português faz sentido em times que falam português, porque os modelos atuais traduzem bem. O que mais pesa é a extensão: em conversas longas, preferir respostas e resumos curtos a repetir frases inteiras conserva tokens e preserva a atenção do modelo.