OpenClaw Browser завершает большинство задач в живом веб-бенчмарке из 100 задач, но при затратах в 3,5 раза выше

Разработчик запустил браузер OpenClaw вместе с четырьмя другими агентными конфигурациями на 100 сложных живых веб-задачах из Online-Mind2Web. OpenClaw выполнил больше всего задач — 35 — но оказался и самым медленным, и самым дорогим: $4,80 против $0,65 у самого дешёвого конкурента.

Условия теста

Во всех конфигурациях использовались Claude Haiku 5.5, Chrome с графическим интерфейсом, одинаковые промпты, сервер и IP. Лимит — 10 минут на задачу, одна попытка на задачу.

Результаты (выполнено / медианное время / общая стоимость)

• OpenClaw: 35, 141 с, $4,80
• 5dive (Claude Code): 32, 105 с, $1,39
• Claude in Chrome: 29, 67 с, $0,91 (оценка — работает по подписке)
• 5dive (pi): 29, 105 с, $0,65
• Hermes: 18, 86 с, $0,72

Автор отмечает, что различия между лучшими конфигурациями в его парных тестах не были статистически значимыми.

Причины разрывов

• Hermes останавливается раньше: 11,6 шага на задачу против 23,5 у OpenClaw. Если исключить задачи, на которых он застрял, Hermes всё равно выполнил 22% против 45% у OpenClaw.
• Пакетная обработка: у OpenClaw пакетный режим был включён по умолчанию, и его агент использовал его в 5 из 100 задач.
• Повторное чтение токенов: в меньших тестах каждый вызов OpenClaw повторно читал 72 тыс. токенов против 43 тыс. у Claude Code и 4,5 тыс. у pi.
• Скорость: Claude in Chrome был самым быстрым — 67 с на задачу; его шаги занимали 4 с против 8–10 с у остальных. Автор предполагает, что они ждут полной загрузки каждой страницы и перепроверяют каждый клик.
• Бот-защита: каждая конфигурация наткнулась на бот-защиту в 20–26 из 100 задач, поскольку серверные агенты получают IP дата-центра.

Чем браузеры отличаются

Claude in Chrome управляет вашим собственным Chrome через расширение Anthropic. 5dive запускает Chrome на собственном сервере агента и остаётся залогиненным; когда сайт включает проверку на робота, агент присылает вам одноразовую ссылку на это живое окно, чтобы вы решили проверку и дали ему продолжить.

Ограничения, которые отмечает автор

• Дешёвая модель, одна попытка на живую задачу.
• Агенты сами собрали тестовый стенд; судья использовал Haiku 5.5, поэтому оценки нельзя сравнивать с таблицей лидеров бенчмарка.
• Claude in Chrome и Hermes запускались на день-два позже остальных, а живые сайты меняются.
• Автор создал браузер 5dive, поэтому он не нейтрален.

Он говорит, что перезапустил бы OpenClaw с любыми настройками, которые его пользователи считают сокращающими вызовы. Сырые результаты — в публичном gist, а 5dive имеет открытый исходный код под MIT.