Benchmark Muestra que la Herramienta CLI Reduce los Costos de Tokens de Código de Claude en un 32% Mediante Navegación Estructural

Un desarrollador ha publicado como código abierto una herramienta CLI llamada Scope que proporciona a los agentes Claude Code capacidades de navegación estructural de código, similares a funciones de IDE como "encontrar referencias" y "ir a definición". La herramienta fue construida en Rust usando tree-sitter y SQLite.

Qué hace la herramienta

La herramienta da a los agentes comandos como:

• "muéstrame un resumen de 180 tokens de esta clase de 6,000 tokens"
• "busca por lo que hace el código, no por cómo se llama"

Actualmente admite TypeScript y C#, con el objetivo de ayudar a los agentes a navegar el código de manera más eficiente que su enfoque predeterminado basado en grep.

Metodología de evaluación comparativa

El desarrollador ejecutó 54 pruebas automatizadas en Sonnet 4.6 en una base de código C# de 181 archivos con:

• 6 categorías de tareas
• 3 condiciones: línea base, herramienta disponible, arquitectura precargada en CLAUDE.md
• 3 repeticiones cada una

Se registró una captura completa de NDJSON en cada ejecución para descomponer los tokens en entrada nueva, creación de caché, lecturas de caché y salida. El ejecutor de evaluación comparativa y la captura de telemetría están incluidos en el repositorio.

Hallazgos clave

Contrario a las expectativas, los agentes con la herramienta leyeron más archivos (promedio de 6.8 a 9.7 vs. línea base) pero hicieron 67% más ediciones de código por sesión y terminaron en menos turnos.

Los ahorros provinieron de conversaciones más cortas, lo que redujo la acumulación de caché. Aproximadamente el 90% del costo de tokens reside en la acumulación de caché.

Resultados generales:

• 32% menos costo por tarea
• 2x eficiencia de navegación (acciones de navegación por edición)
• La proporción de navegación a edición mejoró de 25:1 (línea base) a 13:1 (con herramienta) y 12:1 (con arquitectura precargada)

Los resultados variaron según el tipo de tarea:

• Corrección de errores: -62% costo
• Nuevas características: -49% costo
• Cambios transversales: -46% costo
• Tareas de descubrimiento y refactorización: sin ventaja (los agentes de línea base ya navegan bien estas)

Advertencias importantes

El desarrollador señala varias limitaciones:

• Los valores p no alcanzan 0.05 con n=6 observaciones pareadas (la dirección es consistente pero la muestra es demasiado pequeña para significancia estadística)
• Evaluado solo en C# hasta ahora (el soporte para TypeScript existe pero aún no se ha evaluado)
• El cálculo de costo utiliza las tarifas actuales de la API de Sonnet 4.6: entrada nueva $3/M, escritura de caché $3.75/M, lectura de caché $0.30/M, salida $15/M

La herramienta es de código abierto y está disponible en github.com/rynhardt-potgieter/scope para desarrolladores que quieran experimentar mejorando la eficiencia de tokens de los agentes.