오픈소스 도구, 로컬 데이터 분석으로 AI 코딩 에이전트 자율성 측정

Codelens-AI의 기능

Codelens-AI는 로컬 Claude Code 세션 파일을 읽고 git 기록과 연관시키는 오픈소스 CLI 도구입니다. 단순히 비용을 추적하는 대신, 사용 패턴을 기반으로 자율성 지표를 계산하여 AI 에이전트가 실제로 어떻게 작동하는지 분석합니다.

주요 지표 및 샘플 결과

제작자가 30일간의 개인 사용 기록에 도구를 실행하여 공유한 결과입니다:

• 오토파일럿 비율: 7.4배 — Claude에 보낸 메시지마다 에이전트가 7가지 작업을 수행함
• 자가 치유 점수: 1% — 6,281개의 bash 명령어 중 테스트나 린트는 단 50개뿐
• 도구 사용 범위: 81% — 에이전트가 대부분의 사용 가능한 도구(grep, read, write, bash, search)를 사용함
• 커밋 속도: 114 단계/커밋 — 하나의 커밋을 생성하는 데 114개의 도구 호출이 필요함
• 전체 자율성 점수: C (36/100)

실제 영향 및 사용법

이 지표들은 에이전트가 열심히 작업하지만(7.4배 오토파일럿 비율), 자신의 작업을 거의 검증하지 않는다는 점(1% 자가 치유 점수)을 드러냈습니다. 이러한 통찰력은 제작자가 프롬프트 전략을 변경하도록 이끌었습니다 — 이제는 Claude에게 매번 수정 후 테스트를 실행하라고 명시적으로 지시하여, 자가 치유 점수를 며칠 만에 1%에서 약 15%로 높였습니다.

설정 및 데이터 개인정보 보호

이 도구는 설정이 필요 없습니다: npx claude-roi. 모든 데이터는 로컬에 유지됩니다 — ~/.claude/projects/의 JSONL 파일과 git 로그를 파싱합니다. 클라우드 구성 요소나 원격 측정이 없습니다.

개발 현황 및 커뮤니티

이 도구는 기능 제안, 이슈, PR을 적극적으로 찾고 있습니다 — 특히 점수 계산 공식과 Cursor/Codex 세션 지원 추가에 관한 것입니다. 제작자는 다른 사람들이 어떤 점수를 얻는지, 그리고 다른 사람들도 이 도구를 실행하고 있는지 궁금해합니다.

GitHub: github.com/Akshat2634/Codelens-AI

웹사이트: https://codelensai-dev.vercel.app/