JetBrains sobre a construção de um pipeline RAG para busca semântica de código: análise, fragmentação, vetorização

O JetBrains publicou a primeira parte de um diário de desenvolvedor sobre a construção do Air Context, sua plataforma de busca semântica de código, um pipeline RAG que fornece a agentes LLM "evidências precisas e citáveis de repositórios reais, em vez daquilo que o grep por acaso encontrar". Escrito por Adam Malek e Ashot Kazaryan, a Parte 1 aborda parsing, chunking e vetorização.

Por que busca semântica, e não grep

O post argumenta que a busca por palavra-chave e o grep falham porque exigem que o agente conheça o texto exato de antemão. O exemplo concreto: "um agente procurando onde os tokens de sessão são renovados não pode contar que o código contenha, por gentileza, a palavra 'refresh'". Para raciocinar sobre domínios abstratos, o agente precisa buscar por significado. O RAG indexa o código-fonte de forma que captura a semântica e depois permite que o agente recupere trechos relevantes sob demanda por meio de busca em texto livre.

Parsing e chunking

O parsing/chunking é a etapa de pré-processamento, e o JetBrains a chama de "muitas vezes negligenciada". Repositórios de produção contêm milhares de arquivos, cada um abrangendo centenas ou milhares de linhas, e os agentes inflam ainda mais as bases de código por serem "escritores prolíficos". Os arquivos podem conter muitas classes, campos e métodos com graus variados de relação entre si.

As abordagens erradas, segundo o post:

• Embedding do arquivo inteiro — mesmo que você conseguisse encaixar o arquivo no modelo de embedding, a busca retornaria o arquivo inteiro, frustrando o objetivo de encontrar uma função, símbolo ou trecho específico.
• Embedding por linha — linhas individuais são "semanticamente insignificantes sem o contexto ao redor". Um nome de função genérico ou comentário "não merece embedding e produzirá o resultado de recuperação errado", sobrecarregando o agente com micro-resultados irrelevantes.

O objetivo são unidades adequadamente delimitadas: o fluxo de exploração do agente está majoritariamente voltado a encontrar uma função, símbolo ou trecho de código específico, então os limites dos chunks devem se alinhar a essas unidades (a "AST refinada de parsing e chunking", na formulação do post).

O que vem a seguir

Esta é a Parte 1 de uma série. Os autores dizem que abordarão cada estágio, do pré-processamento ao armazenamento e à integração com agentes, incluindo os "caminhos errados" que tomaram. O texto para no meio de uma frase antes de detalhar as especificidades do estágio de vetorização, então espere uma continuação sobre como os chunks são transformados em uma representação de embedding.

Para quem é

Desenvolvedores construindo recuperação para agentes de programação em bases de código grandes, ou qualquer pessoa avaliando estratégias de chunking para RAG de código.