A Abordagem do Cursor para Busca Rápida de Regex para Agentes de IA

Resolvendo o Desempenho de Regex em Fluxos de Trabalho de Agentes

O Cursor está criando uma busca de regex indexada especificamente para agentes de codificação de IA, abordando um gargalo onde ferramentas tradicionais de regex como o ripgrep podem atrasar fluxos de trabalho em grandes bases de código. O problema é particularmente agudo em monorepos empresariais onde invocações do rg frequentemente excedem 15 segundos, interrompendo a orientação interativa dos agentes de IA.

O Problema Central com as Ferramentas Atuais

A maioria dos sistemas de agentes de IA, incluindo o do Cursor, usa por padrão o ripgrep para busca de regex. Embora o ripgrep ofereça melhor desempenho que o grep clássico com configurações sensatas para ignorar arquivos, ele tem uma limitação fundamental: ele deve escanear o conteúdo de todos os arquivos. Isso se torna problemático em grandes bases de código onde os desenvolvedores precisam de interação em tempo real com agentes de IA.

Abordagem Indexada Baseada em Pesquisa Clássica

A abordagem de indexação se baseia em pesquisa publicada pela primeira vez em 1993 por Zobel, Moffat e Sacks-Davis em "Searching Large Lexicons for Partially Specified Terms using Compressed Inverted Files". Este método usa n-gramas (segmentos de string de n caracteres) para criar índices invertidos, com heurísticas para decompor expressões regulares em árvores de n-gramas que podem ser consultados no índice.

Como Funcionam os Índices Invertidos

Um índice invertido é a estrutura de dados fundamental por trás dos mecanismos de busca. Os documentos são divididos em tokens através da tokenização (neste caso, palavras individuais como tokens). Esses tokens se tornam chaves em uma estrutura semelhante a um dicionário, com valores sendo listas de postagens que identificam todos os documentos contendo cada token. Ao buscar por múltiplos tokens, o sistema carrega suas listas de postagens e as intercepta para encontrar documentos contendo todos os termos especificados.

A abordagem é análoga a como as IDEs tradicionais criam índices sintáticos para operações como Ir para Definição, mas direcionada especificamente às operações de busca de regex que os agentes de IA modernos realizam ao procurar texto.