OpenClaw 브라우저, 100개 과제 라이브 웹 벤치마크에서 대부분 과제 완료했지만 비용은 3.5배

한 개발자가 Online-Mind2Web의 100개 어려운 실시간 웹 과제에서 OpenClaw의 브라우저를 다른 네 가지 에이전트 설정과 비교했다. OpenClaw는 가장 많은 35개 과제를 완료했지만 가장 느리고 가장 비쌌는데, 비용은 $4.80으로 가장 저렴한 경쟁 설정의 $0.65와 대조적이다.

실험 설정

모든 설정은 Claude Haiku 5.5, 헤디드 Chrome, 동일한 프롬프트, 서버 및 IP를 사용했다. 제한 시간은 과제당 10분이었고, 과제당 한 번만 시도했다.

결과 (완료 / 중간 시간 / 총 비용)

• OpenClaw: 35, 141초, $4.80
• 5dive (Claude Code): 32, 105초, $1.39
• Claude in Chrome: 29, 67초, $0.91 (추정 — 구독으로 실행)
• 5dive (pi): 29, 105초, $0.65
• Hermes: 18, 86초, $0.72

작성자는 상위 설정 간 차이가 그의 페어 테스트에서 통계적으로 유의미하지 않았다고 언급했다.

격차의 원인

• Hermes는 더 일찍 중단: 과제당 11.6단계로 OpenClaw의 23.5단계보다 적다. 차단된 과제를 제외해도 Hermes는 22%를 완료한 반면 OpenClaw는 45%를 완료했다.
• 배칭: OpenClaw의 배칭은 기본적으로 켜져 있었고, 해당 에이전트는 100개 과제 중 5개에서 이를 사용했다.
• 토큰 재읽기: 소규모 테스트에서 OpenClaw 호출당 72K 토큰을 다시 읽은 반면, Claude Code는 43K, pi는 4.5K였다.
• 속도: Claude in Chrome이 과제당 67초로 가장 빨랐다 — 단계당 4초가 걸린 반면 다른 설정은 8–10초였다. 작성자는 이들이 각 페이지가 안정될 때까지 기다리고 모든 클릭을 다시 확인하기 때문이라고 추측한다.
• 봇 차단: 서버 측 에이전트는 데이터센터 IP를 받기 때문에 각 설정은 100개 과제 중 20–26개에서 봇 차단에 부딪혔다.

브라우저의 차이점

Claude in Chrome은 Anthropic의 확장 프로그램을 통해 사용자의 Chrome을 제어한다. 5dive는 에이전트 자체 서버에서 Chrome을 실행하고 로그인 상태를 유지한다. 사이트에서 로봇 확인이 발생하면 에이전트가 해당 라이브 창에 대한 일회용 링크를 보내 사용자가 이를 해결하고 계속 진행할 수 있게 한다.

작성자가 지적한 한계

• 저렴한 모델, 실시간 과제당 한 번의 시도.
• 에이전트가 테스트 환경을 구축했고, 심사자는 Haiku 5.5를 사용했으므로 점수는 벤치마크 리더보드와 비교할 수 없다.
• Claude in Chrome과 Hermes는 다른 설정보다 하루나 이틀 후에 실행되었고, 라이브 사이트는 변한다.
• 작성자가 5dive 브라우저를 만들었으므로 중립적이지 않다.

그는 사용자들이 호출을 줄인다고 생각하는 설정으로 OpenClaw를 다시 실행하겠다고 말했다. 원시 결과는 공개 gist에 있으며, 5dive는 MIT 라이선스로 오픈 소스이다.