Benchmark Mostra que Ferramenta CLI Reduz Custos de Tokens de Código do Claude em 32% por Meio de Navegação Estrutural

Um desenvolvedor disponibilizou como código aberto uma ferramenta CLI chamada Scope que fornece aos agentes Claude Code capacidades de navegação estrutural em código, semelhantes a recursos de IDE como "encontrar referências" e "ir para definição". A ferramenta foi construída em Rust usando tree-sitter e SQLite.

O que a Ferramenta Faz

A ferramenta dá aos agentes comandos como:

• "mostre-me um resumo de 180 tokens desta classe de 6.000 tokens"
• "pesquise pelo que o código faz, não pelo nome que tem"

Atualmente, ela suporta TypeScript e C#, com o objetivo de ajudar os agentes a navegar no código de forma mais eficiente do que sua abordagem padrão baseada em grep.

Metodologia do Benchmark

O desenvolvedor executou 54 rodadas automatizadas no Sonnet 4.6 em uma base de código C# com 181 arquivos, com:

• 6 categorias de tarefas
• 3 condições: linha de base, ferramenta disponível, arquitetura pré-carregada no CLAUDE.md
• 3 repetições cada

Captura completa em NDJSON foi registrada em cada execução para decompor os tokens em entrada nova, criação de cache, leituras de cache e saída. O executor do benchmark e a captura de telemetria estão incluídos no repositório.

Principais Descobertas

Contrariamente às expectativas, os agentes com a ferramenta leram mais arquivos (média de 6,8 a 9,7 vs. linha de base), mas fizeram 67% mais edições de código por sessão e terminaram em menos turnos.

A economia veio de conversas mais curtas, o que reduziu o acúmulo de cache. Aproximadamente 90% do custo de tokens está no acúmulo de cache.

Resultados gerais:

• 32% de custo menor por tarefa
• 2x mais eficiência de navegação (ações de navegação por edição)
• A proporção navegação-edição melhorou de 25:1 (linha de base) para 13:1 (com a ferramenta) e 12:1 (com arquitetura pré-carregada)

Os resultados variaram por tipo de tarefa:

• Correções de bugs: -62% de custo
• Novas funcionalidades: -49% de custo
• Alterações transversais: -46% de custo
• Tarefas de descoberta e refatoração: nenhuma vantagem (agentes da linha de base já navegam bem nessas)

Ressalvas Importantes

O desenvolvedor observa várias limitações:

• Os valores-p não atingem 0,05 em n=6 observações pareadas (a direção é consistente, mas a amostra é pequena demais para significância estatística)
• Benchmark realizado apenas em C# até agora (suporte a TypeScript existe, mas ainda não foi avaliado)
• O cálculo de custo usa as taxas atuais da API Sonnet 4.6: entrada nova $3/M, escrita de cache $3,75/M, leitura de cache $0,30/M, saída $15/M

A ferramenta é de código aberto e está disponível em github.com/rynhardt-potgieter/scope para desenvolvedores que desejam experimentar melhorar a eficiência de tokens dos agentes.