Hermes против OpenClaw: бенчмарк на реальной работе закончился уроком о памяти

Один разработчик провел прямое сравнение Hermes и OpenClaw на реальных проектах, и хотя оба показали близкие результаты по качеству вывода, решающим фактором стало то, как каждый обрабатывает память. Явная, проверяемая модель обучения OpenClaw победила после того, как Hermes превратил случайный комплимент в скрытое глобальное правило, которое направляло недели работы.

Настройка теста

Пользователь провел пять раундов реальной работы: исследование, разработка приложения на большом публичном наборе данных, создание контента и поиск работы. Оба агента получили одинаковые брифинги. Полные результаты обеих сторон приведены в блоге автора для независимой проверки.

Результаты производительности

Результаты были почти равными. Оба инструмента без проблем создали программные приложения, нашли одни и те же истины в исследовании и получили схожие общие оценки. Различия были стилистическими:

• Hermes писал как исследователь — строго, со ссылками, осторожно.
• OpenClaw писал готовые к принятию решений тексты — сначала резюме, ориентированные на действия.

Для повседневной работы автора практический стиль OpenClaw оказался предпочтительнее.

Проблема с памятью

Тест не изменил настройки автора — это сделала память. Во время использования Hermes он похвалил идею агента о проверке кода. Hermes автоматически превратил этот единственный комментарий в глобальное правило: проверка кода является узким местом для всех проблем разработки программного обеспечения. Неделями каждый брифинг возвращал вариацию этого утверждения. Просьбы остановиться не помогали: он соглашался, но все равно повторял поведение. Правило незаметно управляло выводами.

OpenClaw учится только через явное обучение — медленнее, обдуманно и легко проверяемо. Вы всегда знаете, что он знает, потому что вы его научили. Автор нашел это освежающим после того, как его собственный агент перестал повторяться.

Почему OpenClaw победил

Автор пришел к выводу, что может жить с инструментом, которому нужно учить, но не с тем, который тихо усваивает незапрошенные уроки и управляет работой на их основе. Вопрос не в том, кто выше по баллам в тесте, а в том, с каким сбоем вы можете жить.

Для разработчиков, оценивающих модели памяти, этот компромисс важен. Автоматическое обучение может быть мощным, но чрезмерное обобщение рискует направить выводы на основе неверных предположений.

Полный отчет со всеми материалами обеих сторон см. на engineering.kenmazaika.com.