JetBrains sobre la construcción de un pipeline RAG para la búsqueda semántica de código: análisis, fragmentación y vectorización

JetBrains publicó la primera parte de un diario de desarrollo sobre la construcción de Air Context, su plataforma de búsqueda semántica de código, un pipeline RAG que proporciona a los agentes LLM "evidencia precisa y citable de repositorios reales en lugar de lo que grep encuentre por casualidad". Escrito por Adam Malek y Ashot Kazaryan, la Parte 1 abarca el análisis, la fragmentación y la vectorización.

Por qué búsqueda semántica y no grep

El artículo sostiene que la búsqueda por palabras clave y grep fallan porque requieren que el agente conozca el texto exacto de antemano. El ejemplo concreto: "un agente que busca dónde se renuevan los tokens de sesión no puede confiar en que el código contenga convenientemente la palabra 'refresh'". Para razonar sobre dominios abstractos, el agente necesita buscar por significado. RAG indexa el código fuente de manera que captura la semántica y luego permite al agente recuperar fragmentos relevantes bajo demanda mediante búsqueda en texto libre.

Análisis y fragmentación

El análisis/fragmentación es el paso de preprocesamiento, y JetBrains lo califica como "a menudo pasado por alto". Los repositorios de producción contienen miles de archivos que abarcan cientos o miles de líneas cada uno, y los agentes inflan aún más las bases de código al ser "escritores prolíficos". Los archivos pueden contener muchas clases, campos y métodos con diversa relación entre sí.

Los enfoques incorrectos, según el artículo:

• Embedding de archivo completo — incluso si pudieras ajustar el archivo al modelo de embedding, la búsqueda devolvería el archivo completo, frustrando el objetivo de encontrar una función, símbolo o fragmento específico.
• Embedding por línea — las líneas individuales son "semánticamente insignificantes sin el contexto circundante". Un nombre de función o comentario genérico "no merece un embedding y producirá el resultado de recuperación incorrecto", sobrecargando al agente con microresultados insignificantes.

El objetivo son unidades correctamente delimitadas: el flujo de exploración del agente se centra principalmente en encontrar una función, símbolo o fragmento de código específico, por lo que los límites de los fragmentos deben alinearse con esas unidades (el "AST fino del análisis y la fragmentación", en palabras del artículo).

Qué viene después

Esta es la Parte 1 de una serie. Los autores dicen que cubrirán cada etapa desde el preprocesamiento hasta el almacenamiento y la integración con agentes, incluyendo los "caminos equivocados" que tomaron. El artículo se detiene a mitad de frase antes de detallar los aspectos específicos de la etapa de vectorización, así que se puede esperar una continuación sobre cómo se transforman los fragmentos en una representación de embedding.

Para quién es

Desarrolladores que construyen recuperación para agentes de programación en grandes bases de código, o cualquiera que evalúe estrategias de fragmentación para RAG de código.