Подход Cursor к быстрому поиску с помощью регулярных выражений для ИИ-агентов

Решение проблем производительности регулярных выражений в рабочих процессах агентов

Cursor создаёт индексированный поиск по регулярным выражениям специально для ИИ-агентов программирования, решая узкое место, когда традиционные инструменты вроде ripgrep могут тормозить рабочие процессы в больших кодовых базах. Проблема особенно остра в корпоративных монорепозиториях, где вызовы rg часто превышают 15 секунд, нарушая интерактивное руководство ИИ-агентов.

Основная проблема с текущими инструментами

Большинство оболочек ИИ-агентов, включая Cursor, по умолчанию используют ripgrep для поиска по регулярным выражениям. Хотя ripgrep предлагает лучшую производительность, чем классический grep, с разумными настройками игнорирования файлов, у него есть одно фундаментальное ограничение: он должен сканировать содержимое всех файлов. Это становится проблематичным в больших кодовых базах, где разработчикам нужно реальное время взаимодействия с ИИ-агентами.

Индексированный подход на основе классического исследования

Подход с индексацией основан на исследовании, впервые опубликованном в 1993 году Зобелем, Моффатом и Саксом-Дэвисом в работе «Поиск в больших лексиконах частично определённых терминов с использованием сжатых инвертированных файлов». Этот метод использует n-граммы (сегменты строк из n символов) для создания инвертированных индексов, с эвристиками для разложения регулярных выражений на деревья n-грамм, которые можно искать в индексе.

Как работают инвертированные индексы

Инвертированный индекс — это фундаментальная структура данных, лежащая в основе поисковых систем. Документы разбиваются на токены через токенизацию (в данном случае отдельные слова как токены). Эти токены становятся ключами в словаре, где значениями являются списки постингов, идентифицирующие все документы, содержащие каждый токен. При поиске нескольких токенов система загружает их списки постингов и пересекает их, чтобы найти документы, содержащие все указанные термины.

Этот подход аналогичен тому, как традиционные IDE создают синтаксические индексы для операций вроде «Перейти к определению», но нацелен специально на операции поиска по регулярным выражениям, которые выполняют современные ИИ-агенты при поиске текста.