Résultats des tests A/B : Les hooks oh-my-claudecode montrent un impact minimal sur les performances de Claude Code.

Configuration et méthodologie de l'expérience

Un développeur a réalisé un test A/B simple pour évaluer l'impact des crochets dynamiques oh-my-claudecode sur les performances de Claude Code. L'expérience a utilisé Claude Sonnet 4.6 avec la même tâche de programmation exécutée six fois au total : trois exécutions avec les crochets OMC ACTIVÉS et trois exécutions avec les crochets OMC DÉSACTIVÉS. Toutes les exécutions ont utilisé des invites, un déroulement de session et un environnement machine identiques.

La tâche consistait à créer un éditeur Markdown à partir de zéro dans une seule session continue, en implémentant l'application, en écrivant et exécutant des tests, puis en examinant et corrigeant les bogues, les problèmes de sécurité et d'accessibilité avant de relancer les tests. L'objectif n'était pas de produire un code parfait, mais de mesurer si les crochets modifiaient le comportement de Claude de manière significative.

Résultats clés

• Qualité du code : Scores identiques (15,0/20 pour les deux conditions DÉSACTIVÉ et ACTIVÉ)
• Coût total : Littéralement le même (5,56 $ pour les deux conditions)
• Total de jetons : Légèrement inférieur avec les crochets ACTIVÉS (6,48 M contre 6,76 M DÉSACTIVÉ)
• Temps réel : Les crochets ACTIVÉS étaient en moyenne plus rapides (1 673 s contre 2 152 s DÉSACTIVÉ)
• Appels d'outils : Légèrement moins nombreux avec les crochets ACTIVÉS (37,0 contre 40,7 DÉSACTIVÉ)

Observations notables

Le crochet SessionStart a considérablement augmenté les jetons de lecture du cache sur la première invite : 424 K avec les crochets ACTIVÉS contre 195 K avec les crochets DÉSACTIVÉS (une augmentation de 117 %). Cependant, ce contexte supplémentaire ne s'est pas traduit par une meilleure sortie pour cette tâche particulière. Fait intéressant, à l'invite 3, les crochets DÉSACTIVÉS ont en réalité utilisé plus de lectures de cache que les crochets ACTIVÉS.

Le dépôt de l'expérience est disponible à l'adresse https://github.com/ej31/omc-hook-experiment.

Enseignements du développeur

Le développeur a conclu que les crochets dynamiques ne sont pas un "bouton magique pour un meilleur code" pour les tâches de programmation en session unique, car Claude performe déjà bien avec des instructions statiques. Tout gain lié aux crochets semble suffisamment faible pour être noyé dans la variance normale d'exécution en exécution. La surcharge constante plus importante pourrait en réalité provenir de l'empreinte statique d'OMC—les définitions d'outils MCP, les compétences, le catalogue d'agents—plutôt que du simple comportement dynamique des crochets.

Il est important de noter que cette expérience n'a testé que le comportement des crochets, et non si l'écosystème plus large d'OMC est utile dans des flux de travail plus importants et multi-sessions. Le développeur prévoit de tester davantage en supprimant complètement oh-my-claudecode et en faisant créer à Claude un jeu Snake à partir de zéro.