Hermes 대 OpenClaw: 실제 업무 벤치마크, 메모리 교훈으로 끝나다

한 개발자가 실제 프로젝트에서 Hermes와 OpenClaw를 직접 비교 벤치마크했는데, 두 도구 모두 출력 품질은 비슷했지만 결정적 차이는 메모리 처리 방식이었습니다. OpenClaw의 명시적이고 감사 가능한 학습 모델이 승리한 이유는, Hermes가 지나가는 칭찬을 숨겨진 전역 규칙으로 만들어 몇 주간의 작업을 좌우했기 때문입니다.

벤치마크 설정

사용자는 리서치, 대규모 공개 데이터셋을 사용한 앱 개발, 콘텐츠 제작, 구직 활동 등 다섯 라운드의 실제 작업을 진행했습니다. 두 에이전트는 동일한 브리프를 받았습니다. 양측의 전체 출력물은 작성자의 블로그에 링크되어 있어 독립적으로 검토할 수 있습니다.

성능 결과

결과는 거의 대등했습니다. 두 도구 모두 소프트웨어 앱을 문제없이 만들었고, 리서치에서 동일한 사실을 찾아냈으며, 전반적으로 비슷한 점수를 받았습니다. 차이는 스타일이었습니다:

• Hermes는 연구자처럼 글을 썼습니다 — 엄격하고, 인용이 많고, 신중했습니다.
• OpenClaw는 의사결정에 바로 쓸 수 있게 썼습니다 — 요약이 먼저, 행동 지향적이었습니다.

작성자의 일상 업무에는 OpenClaw의 실용적인 스타일이 더 선호되었습니다.

메모리 문제

벤치마크가 작성자의 설정을 바꾸지는 않았습니다 — 메모리가 바꿨습니다. Hermes를 사용하던 중, 작성자는 코드 리뷰에 대한 Hermes의 아이디어를 칭찬했습니다. Hermes는 그 한 마디를 자동으로 전역 규칙으로 승격시켰습니다: 코드 리뷰는 모든 소프트웨어 엔지니어링 문제의 병목이다. 몇 주 동안 모든 브리프는 그 글의 변형을 반환했습니다. 중지하라고 말해도 소용없었습니다; 동의는 했지만 행동을 계속 반복했습니다. 그 규칙은 보이지 않게 출력을 조종했습니다.

OpenClaw는 오직 명시적인 가르침을 통해서만 학습합니다 — 더 느리고, 의도적이며, 감사하기 쉽습니다. 당신이 가르쳤기 때문에 그것이 무엇을 아는지 항상 알 수 있습니다. 작성자는 자신의 에이전트가 반복을 멈춘 후 이것이 상쾌하게 느껴졌다고 합니다.

OpenClaw가 승리한 이유

작성자는 가르쳐야 하는 도구는 감수할 수 있지만, 요청하지 않은 교훈을 조용히 학습하고 그에 따라 작업을 조종하는 도구는 감수할 수 없다고 결론지었습니다. 문제는 벤치마크에서 어느 쪽이 더 높은 점수를 받는가가 아니라 — 어느 실패를 감수할 수 있는가입니다.

메모리 모델을 평가하는 개발자에게 이 트레이드오프는 중요합니다. 자동 학습은 강력할 수 있지만, 과잉 일반화는 잘못된 가정에 기반해 출력을 조종할 위험이 있습니다.

양측의 모든 결과물이 포함된 전체 글은 engineering.kenmazaika.com에서 확인하세요.