Инструмент с открытым исходным кодом оценивает автономность ИИ-агентов для программирования с помощью локального анализа данных.

Что делает Codelens-AI

Codelens-AI — это инструмент с открытым исходным кодом для командной строки, который читает ваши локальные файлы сессий Claude Code и сопоставляет их с историей git. Вместо простого отслеживания затрат он анализирует, как на самом деле работает ИИ-агент, рассчитывая метрики автономности на основе ваших паттернов использования.

Ключевые метрики и примеры результатов

Создатель запустил инструмент на 30 днях личного использования и поделился этими результатами:

• Коэффициент автопилота: 7,4x — На каждое сообщение, отправленное в Claude, агент выполняет 7 действий
• Показатель самовосстановления: 1% — Из 6 281 bash-команды только 50 были тестами или проверками кода
• Охват инструментария: 81% — Агент использует большинство доступных инструментов (grep, read, write, bash, search)
• Скорость коммитов: 114 шагов/коммит — Требуется 114 вызовов инструментов для создания одного коммита
• Общий показатель автономности: C (36/100)

Практическое влияние и использование

Эти метрики показали, что хотя агент работает усердно (коэффициент автопилота 7,4x), он редко проверяет свою собственную работу (показатель самовосстановления 1%). Это наблюдение побудило создателя изменить свою стратегию запросов — теперь он явно указывает Claude запускать тесты после каждого изменения, что увеличило показатель самовосстановления с 1% до примерно 15% за несколько дней.

Настройка и конфиденциальность данных

Инструмент не требует настройки: npx claude-roi. Все данные остаются локальными — он анализирует ваши файлы ~/.claude/projects/ JSONL плюс журнал git. Нет облачного компонента и телеметрии.

Статус разработки и сообщество

Инструмент активно ищет предложения по функциям, проблемы и PR — особенно в отношении формулы оценки и добавления поддержки сессий Cursor/Codex. Создателю интересно, какие показатели получают другие люди и используют ли они этот инструмент.

GitHub: github.com/Akshat2634/Codelens-AI

Website: https://codelensai-dev.vercel.app/