Resultados de la Prueba A/B: Los Hooks de oh-my-claudecode Muestran un Impacto Mínimo en el Rendimiento de Claude Code

Configuración y Metodología del Experimento

Un desarrollador realizó una prueba A/B sencilla para evaluar el impacto de los ganchos dinámicos de oh-my-claudecode en el rendimiento de Claude Code. El experimento utilizó Claude Sonnet 4.6 con la misma tarea de programación ejecutada seis veces en total: tres ejecuciones con los ganchos OMC ACTIVADOS y tres ejecuciones con los ganchos OMC DESACTIVADOS. Todas las ejecuciones utilizaron los mismos mensajes, flujo de sesión y entorno de máquina.

La tarea consistió en construir un editor Markdown desde cero en una sola sesión continua, implementando la aplicación, escribiendo y ejecutando pruebas, luego revisando y corrigiendo errores, problemas de seguridad y accesibilidad antes de ejecutar las pruebas nuevamente. El objetivo no era producir código perfecto, sino medir si los ganchos cambiaban el comportamiento de Claude de manera significativa.

Resultados Clave

• Calidad del código: Puntuaciones idénticas (15.0/20 tanto para DESACTIVADO como ACTIVADO)
• Costo total: Literalmente el mismo ($5.56 para ambas condiciones)
• Tokens totales: Ligeramente más bajo con ganchos ACTIVADOS (6.48M vs 6.76M DESACTIVADO)
• Tiempo real: Los ganchos ACTIVADOS fueron más rápidos en promedio (1,673s vs 2,152s DESACTIVADO)
• Llamadas a herramientas: Ligeramente menos con ganchos ACTIVADOS (37.0 vs 40.7 DESACTIVADO)

Observaciones Notables

El gancho SessionStart aumentó significativamente los tokens de lectura de caché en el primer mensaje: 424K con ganchos ACTIVADOS versus 195K con ganchos DESACTIVADOS (un aumento del 117%). Sin embargo, este contexto adicional no se tradujo en una mejor salida para esta tarea en particular. Curiosamente, para el Mensaje 3, los ganchos DESACTIVADOS realmente utilizaron más lecturas de caché que los ganchos ACTIVADOS.

El repositorio del experimento está disponible en https://github.com/ej31/omc-hook-experiment.

Conclusiones del Desarrollador

El desarrollador concluyó que los ganchos dinámicos no son un "botón mágico de mejor código" para tareas de programación de sesión única, ya que Claude ya funciona bien con instrucciones estáticas. Cualquier beneficio relacionado con los ganchos parece lo suficientemente pequeño como para quedar ahogado por la variación normal entre ejecuciones. La mayor sobrecarga constante podría provenir realmente de la huella estática de OMC—definiciones de herramientas MCP, habilidades, catálogo de agentes—en lugar de solo del comportamiento dinámico de los ganchos.

Es importante destacar que este experimento solo probó el comportamiento de los ganchos, no si el ecosistema más amplio de OMC es útil en flujos de trabajo más grandes y de múltiples sesiones. El desarrollador planea realizar más pruebas eliminando oh-my-claudecode por completo y haciendo que Claude construya un juego de Snake desde cero.