Результаты A/B-тестирования: хуки oh-my-claudecode демонстрируют минимальное влияние на производительность Claude Code.

Экспериментальная установка и методология

Разработчик провёл простое A/B-тестирование для оценки влияния динамических хуков oh-my-claudecode на производительность Claude Code. В эксперименте использовался Claude Sonnet 4.6 с одной и той же задачей по кодированию, выполненной шесть раз в общей сложности: три запуска с включёнными хуками OMC и три запуска с выключенными хуками OMC. Во всех запусках использовались идентичные промпты, последовательность сессии и машинное окружение.

Задача заключалась в создании Markdown-редактора с нуля в рамках одной непрерывной сессии, включая реализацию приложения, написание и запуск тестов, а затем проверку и исправление ошибок, проблем безопасности и доступности перед повторным запуском тестов. Целью было не создание безупречного кода, а измерение того, меняют ли хуки поведение Claude значимым образом.

Ключевые результаты

• Качество кода: Идентичные оценки (15.0/20 для обоих условий OFF и ON)
• Общая стоимость: Буквально одинаковая ($5.56 для обоих условий)
• Общее количество токенов: Немного меньше с включёнными хуками (6.48M против 6.76M при OFF)
• Общее время выполнения: С включёнными хуками в среднем быстрее (1,673с против 2,152с при OFF)
• Вызовы инструментов: Немного меньше с включёнными хуками (37.0 против 40.7 при OFF)

Примечательные наблюдения

Хук SessionStart значительно увеличил количество токенов чтения кэша при первом промпте: 424K с включёнными хуками против 195K с выключенными хуками (увеличение на 117%). Однако этот дополнительный контекст не привёл к лучшему результату для данной конкретной задачи. Интересно, что к третьему промпту версия с выключенными хуками фактически использовала больше операций чтения кэша, чем версия с включёнными хуками.

Репозиторий эксперимента доступен по адресу https://github.com/ej31/omc-hook-experiment.

Выводы разработчика

Разработчик пришёл к выводу, что динамические хуки не являются «волшебной кнопкой для лучшего кода» для задач кодирования в рамках одной сессии, поскольку Claude и так хорошо работает со статическими инструкциями. Любые преимущества, связанные с хуками, кажутся достаточно небольшими, чтобы быть поглощёнными обычной вариативностью между запусками. Более значительные постоянные накладные расходы могут фактически исходить от статического объёма OMC — определений инструментов MCP, навыков, каталога агентов — а не только от поведения динамических хуков.

Важно отметить, что этот эксперимент тестировал только поведение хуков, а не то, полезна ли более широкая экосистема OMC в крупных, многосессионных рабочих процессах. Разработчик планирует провести дальнейшее тестирование, полностью удалив oh-my-claudecode и поручив Claude создать игру «Змейка» с нуля.