Инструмент с открытым исходным кодом оценивает автономность ИИ-агентов для программирования с помощью локального анализа данных.
Что делает Codelens-AI
Codelens-AI — это инструмент с открытым исходным кодом для командной строки, который читает ваши локальные файлы сессий Claude Code и сопоставляет их с историей git. Вместо простого отслеживания затрат он анализирует, как на самом деле работает ИИ-агент, рассчитывая метрики автономности на основе ваших паттернов использования.
Ключевые метрики и примеры результатов
Создатель запустил инструмент на 30 днях личного использования и поделился этими результатами:
- Коэффициент автопилота: 7,4x — На каждое сообщение, отправленное в Claude, агент выполняет 7 действий
- Показатель самовосстановления: 1% — Из 6 281 bash-команды только 50 были тестами или проверками кода
- Охват инструментария: 81% — Агент использует большинство доступных инструментов (grep, read, write, bash, search)
- Скорость коммитов: 114 шагов/коммит — Требуется 114 вызовов инструментов для создания одного коммита
- Общий показатель автономности: C (36/100)
Практическое влияние и использование
Эти метрики показали, что хотя агент работает усердно (коэффициент автопилота 7,4x), он редко проверяет свою собственную работу (показатель самовосстановления 1%). Это наблюдение побудило создателя изменить свою стратегию запросов — теперь он явно указывает Claude запускать тесты после каждого изменения, что увеличило показатель самовосстановления с 1% до примерно 15% за несколько дней.
Настройка и конфиденциальность данных
Инструмент не требует настройки: npx claude-roi. Все данные остаются локальными — он анализирует ваши файлы ~/.claude/projects/ JSONL плюс журнал git. Нет облачного компонента и телеметрии.
Статус разработки и сообщество
Инструмент активно ищет предложения по функциям, проблемы и PR — особенно в отношении формулы оценки и добавления поддержки сессий Cursor/Codex. Создателю интересно, какие показатели получают другие люди и используют ли они этот инструмент.
GitHub: github.com/Akshat2634/Codelens-AI
Website: https://codelensai-dev.vercel.app/
📖 Read the full source: r/ClaudeAI
👀 Смотрите также
Разработчик создает локального ИИ-исследовательского агента, который генерирует подкасты по заданным темам или ссылкам на YouTube.
Разработчик создал полностью локальный ИИ-агент, который принимает темы или ссылки на YouTube и генерирует углубленные отчёты, сценарии разговорных подкастов и аудио. Система динамически исследует, извлекает инсайты, совершенствует сводки и создаёт естественные диалоги.
Кодграф: Предварительно индексированный граф знаний сокращает вызовы инструментов Claude/Cursor на 94%
Codegraph использует предварительно проиндексированный граф знаний, содержащий связи символов, графы вызовов и структуру кода, чтобы сократить количество вызовов API-инструментов до 94% и ускорить использование примерно на 77% для агентов Claude, Cursor, Codex и OpenCode.
Сервер MCP реализует принцип рефлексии из научной работы для обеспечения устойчивой памяти агента-кодера.
Разработчик реализовал статью Reflexion (Shinn et al., NeurIPS 2023) в виде MCP-сервера, чтобы предоставить локальным кодирующим агентам устойчивую память об их ошибках. Система использует сопоставление по шаблонам на основе регулярных выражений для сообщений об ошибках и сохраняет уроки в SQLite с FTS5.
Галерея архитектур LLM: Визуальный справочник по проектам моделей
Галерея архитектур LLM Себастьяна Рашки собирает схемы архитектур и технические характеристики из The Big LLM Architecture Comparison и A Dream of Spring for Open-Weight LLMs, с подробными спецификациями для моделей, таких как Llama 3 8B, DeepSeek V3 и Gemma 3 27B.