オープンソースツールがローカルデータ分析でAIコーディングエージェントの自律性を測定

Codelens-AIの機能

Codelens-AIは、ローカルのClaude Codeセッションファイルを読み取り、git履歴と関連付けるオープンソースのCLIツールです。単にコストを追跡するのではなく、使用パターンに基づいて自律性メトリクスを計算することで、AIエージェントが実際にどのように機能しているかを分析します。

主要メトリクスとサンプル結果

開発者が30日間の個人使用データに対してこのツールを実行し、以下の結果を共有しました：

• Autopilot Ratio: 7.4倍 — Claudeに送信されるメッセージ1件につき、エージェントは7つのアクションを実行
• Self-Heal Score: 1% — 6,281件のbashコマンドのうち、テストやリントはわずか50件のみ
• Toolbelt Coverage: 81% — エージェントは利用可能なツールのほとんど（grep、read、write、bash、search）を使用
• Commit Velocity: 114ステップ/コミット — 1つのコミットを生成するのに114回のツール呼び出しが必要
• Overall Autonomy Score: C (36/100)

実用的な影響と使用方法

これらのメトリクスから、エージェントは懸命に作業しているものの（Autopilot Ratio 7.4倍）、自身の作業をほとんど検証していない（Self-Heal Score 1%）ことが明らかになりました。この洞察により、開発者はプロンプト戦略を変更し、編集後に必ずテストを実行するようClaudeに明示的に指示するようになりました。これにより、数日間でSelf-Heal Scoreが1%から約15%に向上しました。

セットアップとデータプライバシー

このツールはゼロセットアップで使用できます：npx claude-roi。すべてのデータはローカルに保持されます — ~/.claude/projects/のJSONLファイルとgitログを解析します。クラウドコンポーネントやテレメトリは一切ありません。

開発状況とコミュニティ

このツールは現在、機能提案、課題報告、PRを積極的に募集しています — 特にスコアリング式の改善やCursor/Codexセッションのサポート追加に関心があります。開発者は、他のユーザーがどのようなスコアを得るのか、またこのツールを実行している人が他にいるのかについて興味を持っています。

GitHub: github.com/Akshat2634/Codelens-AI

Website: https://codelensai-dev.vercel.app/