A/B-Testergebnisse: oh-my-claudecode Hooks zeigen minimale Auswirkungen auf die Claude-Code-Leistung

Experimentaufbau und Methodik

Ein Entwickler führte einen einfachen A/B-Test durch, um die Auswirkung von oh-my-claudecode-Dynamik-Hooks auf die Leistung von Claude Code zu bewerten. Das Experiment nutzte Claude Sonnet 4.6 mit derselben Coding-Aufgabe, die insgesamt sechsmal ausgeführt wurde: drei Durchläufe mit OMC-Hooks EIN und drei Durchläufe mit OMC-Hooks AUS. Alle Durchläufe verwendeten identische Prompts, Sitzungsabläufe und Maschinenumgebungen.

Die Aufgabe bestand darin, einen Markdown-Editor von Grund auf in einer einzigen fortlaufenden Sitzung zu erstellen, die App zu implementieren, Tests zu schreiben und auszuführen, dann Fehler, Sicherheits- und Barrierefreiheitsprobleme zu überprüfen und zu beheben, bevor die Tests erneut ausgeführt wurden. Das Ziel war nicht, fehlerfreien Code zu produzieren, sondern zu messen, ob die Hooks das Verhalten von Claude auf bedeutsame Weise veränderten.

Wesentliche Ergebnisse

• Codequalität: Identische Bewertungen (15,0/20 für beide, AUS und EIN)
• Gesamtkosten: Buchstäblich gleich (5,56 $ für beide Bedingungen)
• Gesamttoken: Leicht niedriger mit Hooks EIN (6,48 Mio. vs. 6,76 Mio. AUS)
• Echtzeit: Hooks EIN war im Durchschnitt schneller (1.673 s vs. 2.152 s AUS)
• Tool-Aufrufe: Etwas weniger mit Hooks EIN (37,0 vs. 40,7 AUS)

Bemerkenswerte Beobachtungen

Der SessionStart-Hook erhöhte die Cache-Lese-Token beim ersten Prompt signifikant: 424.000 mit Hooks EIN gegenüber 195.000 mit Hooks AUS (eine Steigerung von 117 %). Dieser zusätzliche Kontext führte jedoch bei dieser speziellen Aufgabe nicht zu einer besseren Ausgabe. Interessanterweise verwendeten Hooks AUS ab Prompt 3 tatsächlich mehr Cache-Lesevorgänge als Hooks EIN.

Das Repository des Experiments ist verfügbar unter https://github.com/ej31/omc-hook-experiment.

Erkenntnisse des Entwicklers

Der Entwickler kam zu dem Schluss, dass dynamische Hooks für Einzelsitzungs-Coding-Aufgaben kein „magischer Besser-Code-Knopf“ sind, da Claude bereits mit statischen Anweisungen gut abschneidet. Etwaige durch Hooks erzielte Gewinne scheinen so gering zu sein, dass sie von der normalen Lauf-zu-Lauf-Varianz überdeckt werden. Die größere konstante Overhead könnte tatsächlich eher von OMCs statischem Fußabdruck stammen – MCP-Tool-Definitionen, Fähigkeiten, Agenten-Katalog – als nur vom dynamischen Hook-Verhalten.

Wichtig ist, dass dieses Experiment nur das Hook-Verhalten testete, nicht, ob das breitere OMC-Ökosystem in größeren, mehrsitzigen Workflows hilfreich ist. Der Entwickler plant weitere Tests, indem oh-my-claudecode vollständig entfernt und Claude beauftragt wird, ein Snake-Spiel von Grund auf zu erstellen.