Тестирование показывает, что CLI-инструмент сокращает затраты на токены кода Claude на 32% благодаря структурной навигации.

Разработчик опубликовал с открытым исходным кодом инструмент командной строки под названием Scope, который предоставляет агентам Claude Code возможности структурной навигации по коду, аналогичные функциям IDE, таким как 'найти ссылки' и 'перейти к определению'. Инструмент был создан на Rust с использованием tree-sitter и SQLite.

Что делает инструмент

Инструмент предоставляет агентам команды, такие как:

• "покажи мне 180-токенное резюме этого 6000-токенного класса"
• "ищи по тому, что делает код, а не по его названию"

В настоящее время он поддерживает TypeScript и C#, с целью помочь агентам ориентироваться в коде более эффективно, чем их стандартный подход на основе grep.

Методология бенчмаркинга

Разработчик провел 54 автоматизированных запуска на Sonnet 4.6 на кодовой базе C# из 181 файла с:

• 6 категориями задач
• 3 условиями: базовый уровень, инструмент доступен, архитектура предварительно загружена в CLAUDE.md
• 3 повторениями каждого

Полный NDJSON-захват записывался при каждом запуске для разложения токенов на свежий ввод, создание кэша, чтение кэша и вывод. Бегунок бенчмарка и захват телеметрии включены в репозиторий.

Ключевые выводы

Вопреки ожиданиям, агенты с инструментом читали больше файлов (в среднем 6,8 против 9,7 по сравнению с базовым уровнем), но вносили на 67% больше правок кода за сессию и завершали работу за меньшее количество ходов.

Экономия возникла из-за более коротких диалогов, что уменьшило накопление кэша. Примерно 90% стоимости токенов приходится на накопление кэша.

Общие результаты:

• На 32% ниже стоимость за задачу
• В 2 раза выше эффективность навигации (действий навигации на правку)
• Соотношение навигации к правкам улучшилось с 25:1 (базовый уровень) до 13:1 (с инструментом) и 12:1 (с предварительно загруженной архитектурой)

Результаты различались по типу задач:

• Исправление ошибок: -62% стоимости
• Новые функции: -49% стоимости
• Сквозные изменения: -46% стоимости
• Задачи по исследованию и рефакторингу: преимущества нет (базовые агенты и так хорошо ориентируются в них)

Важные оговорки

Разработчик отмечает несколько ограничений:

• p-значения не достигают 0,05 при n=6 парных наблюдениях (направление последовательно, но выборка слишком мала для статистической значимости)
• Пока бенчмаркинг проводился только на C# (поддержка TypeScript существует, но еще не тестировалась)
• Расчет стоимости использует текущие тарифы API Sonnet 4.6: свежий ввод $3/M, запись в кэш $3.75/M, чтение кэша $0.30/M, вывод $15/M

Инструмент имеет открытый исходный код и доступен по адресу github.com/rynhardt-potgieter/scope для разработчиков, которые хотят поэкспериментировать с повышением эффективности использования токенов агентами.