L'Approche de Cursor pour une Recherche Rapide d'Expressions Régulières pour les Agents IA

Résoudre les problèmes de performance des expressions régulières dans les flux de travail des agents

Cursor crée une recherche d'expressions régulières indexée spécifiquement pour les agents d'IA de codage, abordant un goulot d'étranglement où les outils traditionnels comme ripgrep peuvent bloquer les flux de travail dans les bases de code volumineuses. Le problème est particulièrement aigu dans les monorepos d'entreprise où les appels à rg dépassent fréquemment 15 secondes, perturbant l'accompagnement interactif des agents d'IA.

Le problème fondamental des outils actuels

La plupart des environnements d'agents d'IA, y compris celui de Cursor, utilisent par défaut ripgrep pour la recherche d'expressions régulières. Bien que ripgrep offre de meilleures performances que grep classique avec des paramètres par défaut raisonnables pour l'ignorage des fichiers, il présente une limitation fondamentale : il doit parcourir le contenu de tous les fichiers. Cela devient problématique dans les grandes bases de code où les développeurs ont besoin d'une interaction en temps réel avec les agents d'IA.

Approche indexée basée sur des recherches classiques

L'approche d'indexation s'appuie sur des recherches publiées pour la première fois en 1993 par Zobel, Moffat et Sacks-Davis dans "Searching Large Lexicons for Partially Specified Terms using Compressed Inverted Files". Cette méthode utilise des n-grammes (segments de chaîne de n caractères) pour créer des index inversés, avec des heuristiques pour décomposer les expressions régulières en arbres de n-grammes qui peuvent être consultés dans l'index.

Comment fonctionnent les index inversés

Un index inversé est la structure de données fondamentale derrière les moteurs de recherche. Les documents sont divisés en jetons par tokenisation (dans ce cas, les mots individuels comme jetons). Ces jetons deviennent des clés dans une structure de type dictionnaire, avec des valeurs qui sont des listes de postings identifiant tous les documents contenant chaque jeton. Lors de la recherche de plusieurs jetons, le système charge leurs listes de postings et les intersecte pour trouver les documents contenant tous les termes spécifiés.

L'approche est analogue à la façon dont les IDE traditionnels créent des index syntaxiques pour des opérations comme "Aller à la définition", mais ciblée spécifiquement sur les opérations de recherche d'expressions régulières que les agents d'IA modernes effectuent lors de la recherche de texte.