Le Benchmark Montre que l'Outil CLI Réduit les Coûts de Tokens de Code de Claude de 32% Grâce à la Navigation Structurelle

Un développeur a publié en open source un outil CLI appelé Scope qui fournit aux agents Claude Code des capacités de navigation structurelle du code, similaires aux fonctionnalités d'IDE comme "trouver les références" et "aller à la définition". L'outil a été construit en Rust en utilisant tree-sitter et SQLite.

Ce que fait l'outil

L'outil donne aux agents des commandes comme :

• "montre-moi un résumé de 180 tokens de cette classe de 6 000 tokens"
• "recherche par ce que le code fait, pas par son nom"

Il prend actuellement en charge TypeScript et C#, avec pour objectif d'aider les agents à naviguer dans le code plus efficacement que leur approche par défaut basée sur grep.

Méthodologie de benchmarking

Le développeur a effectué 54 exécutions automatisées sur Sonnet 4.6 sur une base de code C# de 181 fichiers avec :

• 6 catégories de tâches
• 3 conditions : référence, outil disponible, architecture préchargée dans CLAUDE.md
• 3 répétitions chacune

Une capture NDJSON complète a été enregistrée à chaque exécution pour décomposer les tokens en entrée fraîche, création de cache, lectures de cache et sortie. Le lanceur de benchmark et la capture de télémétrie sont inclus dans le dépôt.

Principales découvertes

Contrairement aux attentes, les agents avec l'outil ont lu plus de fichiers (moyenne de 6,8 à 9,7 vs référence) mais ont effectué 67 % de modifications de code supplémentaires par session et ont terminé en moins de tours.

Les économies proviennent de conversations plus courtes, ce qui a réduit l'accumulation de cache. Environ 90 % du coût en tokens réside dans l'accumulation de cache.

Résultats globaux :

• 32 % de coût en moins par tâche
• 2x plus d'efficacité de navigation (actions de navigation par modification)
• Le ratio navigation/modification est passé de 25:1 (référence) à 13:1 (avec outil) et 12:1 (avec architecture préchargée)

Les résultats variaient selon le type de tâche :

• Corrections de bugs : -62 % de coût
• Nouvelles fonctionnalités : -49 % de coût
• Changements transversaux : -46 % de coût
• Tâches de découverte et de refactorisation : aucun avantage (les agents de référence naviguent déjà bien dans celles-ci)

Mises en garde importantes

Le développeur note plusieurs limitations :

• Les valeurs p n'atteignent pas 0,05 avec n=6 observations appariées (la direction est cohérente mais l'échantillon est trop petit pour une signification statistique)
• Benchmarké uniquement sur C# jusqu'à présent (la prise en charge de TypeScript existe mais n'a pas encore été benchmarkée)
• Le calcul du coût utilise les tarifs API actuels de Sonnet 4.6 : entrée fraîche 3 $/M, écriture cache 3,75 $/M, lecture cache 0,30 $/M, sortie 15 $/M

L'outil est open source et disponible à github.com/rynhardt-potgieter/scope pour les développeurs qui souhaitent expérimenter l'amélioration de l'efficacité des tokens des agents.