OpenClaw Browser conclui a maioria das tarefas em um benchmark ao vivo na web com 100 tarefas, mas a um custo 3,5 vezes maior

Um desenvolvedor testou o navegador do OpenClaw contra quatro outras configurações de agentes em 100 tarefas difíceis da web ao vivo do Online-Mind2Web. O OpenClaw concluiu o maior número de tarefas — 35 —, mas também foi o mais lento e o mais caro, custando US$ 4,80 contra US$ 0,65 da configuração rival mais barata.

A configuração

Todas as configurações usaram Claude Haiku 5.5, Chrome com interface gráfica, os mesmos prompts, servidor e IP. O limite era de 10 minutos por tarefa, com uma tentativa por tarefa.

Resultados (concluídas / tempo mediano / custo total)

• OpenClaw: 35, 141s, US$ 4,80
• 5dive (Claude Code): 32, 105s, US$ 1,39
• Claude in Chrome: 29, 67s, US$ 0,91 (estimativa — roda em uma assinatura)
• 5dive (pi): 29, 105s, US$ 0,65
• Hermes: 18, 86s, US$ 0,72

O autor observa que as diferenças entre as principais configurações não foram estatisticamente significativas em seus testes pareados.

Por que as diferenças

• Hermes para mais cedo: 11,6 passos por tarefa contra 23,5 do OpenClaw. Excluindo as tarefas em que foi bloqueado, o Hermes ainda concluiu 22% contra 45% do OpenClaw.
• Agrupamento: O agrupamento do OpenClaw estava ativado por padrão, e seu agente o usou em 5 das 100 tarefas.
• Releitura de tokens: Em testes menores, cada chamada do OpenClaw relia 72 mil tokens, contra 43 mil do Claude Code e 4,5 mil do pi.
• Velocidade: O Claude in Chrome foi o mais rápido, com 67s por tarefa — seus passos levaram 4s contra 8–10s dos outros. O autor supõe que eles esperam cada página estabilizar e verificam cada clique duas vezes.
• Barreiras anti-bot: Cada configuração encontrou uma barreira anti-bot em 20–26 das 100 tarefas, porque agentes do lado do servidor recebem um IP de datacenter.

Como os navegadores diferem

O Claude in Chrome controla o seu próprio Chrome por meio da extensão da Anthropic. O 5dive executa o Chrome no próprio servidor do agente e permanece logado; quando um site exibe uma verificação anti-robô, o agente envia a você um link temporário para aquela janela ao vivo, para que você resolva e permita que ele continue.

Limitações apontadas pelo autor

• Modelo barato, uma tentativa por tarefa ao vivo.
• Os agentes construíram o aparato de teste; o juiz usou Haiku 5.5, então as pontuações não são comparáveis ao ranking do benchmark.
• Claude in Chrome e Hermes rodaram um ou dois dias depois dos outros, e sites ao vivo mudam.
• O autor desenvolveu o navegador 5dive, portanto não é neutro.

Ele diz que repetiria o OpenClaw com qualquer configuração que seus usuários acharem que reduz as chamadas. Os resultados brutos estão em um gist público, e o 5dive é open source sob a licença MIT.