Open-Source-Tool misst Autonomie von KI-Codierungsagenten mit lokaler Datenanalyse

Was Codelens-AI macht

Codelens-AI ist ein Open-Source-CLI-Tool, das Ihre lokalen Claude-Code-Sitzungsdateien liest und sie mit dem Git-Verlauf korreliert. Anstatt nur Kosten zu verfolgen, analysiert es, wie der KI-Agent tatsächlich arbeitet, indem es Autonomie-Metriken basierend auf Ihren Nutzungsmustern berechnet.

Wichtige Metriken und Beispielergebnisse

Der Ersteller hat das Tool über 30 Tage persönlicher Nutzung laufen lassen und diese Ergebnisse geteilt:

• Autopilot-Verhältnis: 7,4x — Für jede an Claude gesendete Nachricht führt der Agent 7 Aktionen aus
• Self-Heal-Score: 1 % — Von 6.281 Bash-Befehlen waren nur 50 Tests oder Lints
• Toolbelt-Abdeckung: 81 % — Der Agent nutzt die meisten verfügbaren Tools (grep, read, write, bash, search)
• Commit-Geschwindigkeit: 114 Schritte/Commit — Es sind 114 Tool-Aufrufe nötig, um einen Commit zu erzeugen
• Gesamt-Autonomie-Score: C (36/100)

Praktische Auswirkungen und Nutzung

Diese Metriken zeigten, dass der Agent zwar hart arbeitet (7,4x Autopilot-Verhältnis), er aber selten seine eigene Arbeit überprüft (1 % Self-Heal-Score). Diese Erkenntnis veranlasste den Ersteller, seine Prompting-Strategie zu ändern — er weist Claude nun explizit an, nach jeder Bearbeitung Tests auszuführen, was seinen Self-Heal-Score innerhalb weniger Tage von 1 % auf etwa 15 % erhöhte.

Einrichtung und Datenschutz

Das Tool erfordert keine Einrichtung: npx claude-roi. Alle Daten bleiben lokal — es analysiert Ihre ~/.claude/projects/ JSONL-Dateien plus Git-Log. Es gibt keine Cloud-Komponente und keine Telemetrie.

Entwicklungsstatus und Community

Das Tool sucht aktiv nach Funktionsvorschlägen, Problemen und PRs — insbesondere bezüglich der Bewertungsformel und der Unterstützung für Cursor/Codex-Sitzungen. Der Ersteller ist neugierig, welche Scores andere Leute erhalten und ob andere dieses Tool nutzen.

GitHub: github.com/Akshat2634/Codelens-AI

Website: https://codelensai-dev.vercel.app/