A/B 테스트 결과: oh-my-claudecode 훅이 Claude 코드 성능에 미치는 영향은 미미한 것으로 나타났습니다

실험 설정 및 방법론

한 개발자가 oh-my-claudecode 동적 훅이 Claude Code 성능에 미치는 영향을 평가하기 위해 간단한 A/B 테스트를 진행했습니다. 이 실험은 Claude Sonnet 4.6을 사용했으며, 동일한 코딩 작업을 총 6회 실행했습니다: OMC 훅 ON 상태로 3회, OMC 훅 OFF 상태로 3회 실행했습니다. 모든 실행은 동일한 프롬프트, 세션 흐름, 머신 환경을 사용했습니다.

작업은 단일 연속 세션에서 마크다운 에디터를 처음부터 구축하는 것으로, 앱 구현, 테스트 작성 및 실행, 버그, 보안, 접근성 문제 검토 및 수정, 그리고 다시 테스트 실행을 포함했습니다. 목표는 완벽한 코드를 만드는 것이 아니라 훅이 Claude의 행동을 의미 있는 방식으로 변화시키는지 측정하는 것이었습니다.

주요 결과

• 코드 품질: 동일한 점수 (OFF와 ON 모두 15.0/20)
• 총 비용: 문자 그대로 동일 (두 조건 모두 $5.56)
• 총 토큰: 훅 ON 시 약간 낮음 (6.48M vs OFF 6.76M)
• 실제 소요 시간: 훅 ON이 평균적으로 더 빠름 (1,673초 vs OFF 2,152초)
• 도구 호출: 훅 ON 시 약간 적음 (37.0 vs OFF 40.7)

주목할 만한 관찰

SessionStart 훅은 첫 번째 프롬프트에서 캐시 읽기 토큰을 상당히 증가시켰습니다: 훅 ON 시 424K vs 훅 OFF 시 195K (117% 증가). 그러나 이 추가 컨텍스트는 이 특정 작업에서 더 나은 출력으로 이어지지 않았습니다. 흥미롭게도, 프롬프트 3까지 가면 훅 OFF가 실제로 훅 ON보다 더 많은 캐시 읽기를 사용했습니다.

이 실험의 저장소는 https://github.com/ej31/omc-hook-experiment에서 확인할 수 있습니다.

개발자 결론

개발자는 동적 훅이 단일 세션 코딩 작업에 대한 "마법 같은 더 나은 코드 버튼"이 아니라고 결론지었습니다. Claude는 이미 정적 지시만으로도 잘 작동하기 때문입니다. 훅 관련 이득은 정상적인 실행 간 변동에 가려질 정도로 작아 보입니다. 더 큰 일정한 오버헤드는 실제로 OMC의 동적 훅 동작보다는 정적 풋프린트—MCP 도구 정의, 스킬, 에이전트 카탈로그—에서 비롯될 수 있습니다.

중요한 점은, 이 실험은 훅 동작만 테스트했으며, 더 넓은 OMC 생태계가 더 큰 다중 세션 워크플로우에서 도움이 되는지는 테스트하지 않았다는 것입니다. 개발자는 oh-my-claudecode를 완전히 제거하고 Claude가 스네이크 게임을 처음부터 구축하도록 하여 추가 테스트를 계획하고 있습니다.