Resultados do Teste A/B: Ganchos do oh-my-claudecode Apresentam Impacto Mínimo no Desempenho do Claude Code

Configuração e Metodologia do Experimento

Um desenvolvedor conduziu um teste A/B direto para avaliar o impacto dos hooks dinâmicos do oh-my-claudecode no desempenho do Claude Code. O experimento usou Claude Sonnet 4.6 com a mesma tarefa de programação executada seis vezes no total: três execuções com hooks OMC LIGADOS e três execuções com hooks OMC DESLIGADOS. Todas as execuções usaram prompts idênticos, fluxo de sessão e ambiente de máquina.

A tarefa envolveu construir um editor Markdown do zero em uma única sessão contínua, implementando o aplicativo, escrevendo e executando testes, revisando e corrigindo bugs, problemas de segurança e acessibilidade antes de executar os testes novamente. O objetivo não era produzir código perfeito, mas medir se os hooks alteraram o comportamento do Claude de maneiras significativas.

Principais Resultados

• Qualidade do código: Pontuações idênticas (15,0/20 para ambas as condições DESLIGADO e LIGADO)
• Custo total: Literalmente o mesmo (US$ 5,56 para ambas as condições)
• Total de tokens: Ligeiramente menor com hooks LIGADOS (6,48M vs 6,76M DESLIGADO)
• Tempo de execução: Hooks LIGADOS foi mais rápido em média (1.673s vs 2.152s DESLIGADO)
• Chamadas de ferramentas: Ligeiramente menos com hooks LIGADOS (37,0 vs 40,7 DESLIGADO)

Observações Notáveis

O hook SessionStart aumentou significativamente os tokens de leitura de cache no primeiro prompt: 424K com hooks LIGADOS versus 195K com hooks DESLIGADOS (um aumento de 117%). No entanto, esse contexto extra não se traduziu em melhor saída para esta tarefa específica. Curiosamente, no Prompt 3, hooks DESLIGADOS realmente usaram mais leituras de cache do que hooks LIGADOS.

O repositório do experimento está disponível em https://github.com/ej31/omc-hook-experiment.

Conclusões do Desenvolvedor

O desenvolvedor concluiu que hooks dinâmicos não são um "botão mágico de código melhor" para tarefas de programação em sessão única, já que o Claude já tem bom desempenho com instruções estáticas. Quaisquer ganhos relacionados a hooks parecem pequenos o suficiente para serem ofuscados pela variação normal entre execuções. A sobrecarga constante maior pode realmente vir da pegada estática do OMC — definições de ferramentas MCP, habilidades, catálogo de agentes — em vez de apenas do comportamento dinâmico dos hooks.

Importante: este experimento testou apenas o comportamento dos hooks, não se o ecossistema mais amplo do OMC é útil em fluxos de trabalho maiores e multi-sessão. O desenvolvedor planeja testar mais removendo completamente o oh-my-claudecode e fazendo o Claude construir um jogo da cobrinha do zero.