OpenClaw Browser termine la plupart des tâches dans un benchmark de 100 tâches sur le Web réel, mais à un coût 3,5 fois plus élevé

Un développeur a comparé le navigateur d'OpenClaw à quatre autres configurations d'agents sur 100 tâches web complexes en conditions réelles issues d'Online-Mind2Web. OpenClaw a terminé le plus de tâches — 35 — mais était aussi le plus lent et le plus coûteux, à 4,80 $ contre 0,65 $ pour le concurrent le moins cher.

La configuration

Chaque configuration utilisait Claude Haiku 5.5, Chrome en mode headed, les mêmes prompts, le même serveur et la même IP. La limite était de 10 minutes par tâche, avec une seule tentative par tâche.

Résultats (terminées / temps médian / coût total)

• OpenClaw : 35, 141 s, 4,80 $
• 5dive (Claude Code) : 32, 105 s, 1,39 $
• Claude in Chrome : 29, 67 s, 0,91 $ (estimation — fonctionne sur abonnement)
• 5dive (pi) : 29, 105 s, 0,65 $
• Hermes : 18, 86 s, 0,72 $

L'auteur note que les différences entre les meilleures configurations n'étaient pas statistiquement significatives dans ses tests appariés.

Pourquoi ces écarts

• Hermes s'arrête plus tôt : 11,6 étapes par tâche contre 23,5 pour OpenClaw. En excluant les tâches où il a été bloqué, Hermes termine tout de même 22 % contre 45 % pour OpenClaw.
• Le traitement par lots : le traitement par lots d'OpenClaw était activé par défaut, et son agent l'a utilisé dans 5 des 100 tâches.
• Relectures de tokens : dans des tests plus petits, chaque appel d'OpenClaw relisait 72K tokens, contre 43K pour Claude Code et 4,5K pour pi.
• Vitesse : Claude in Chrome était le plus rapide à 67 s par tâche — ses étapes prenaient 4 s contre 8 à 10 s pour les autres. L'auteur suppose qu'ils attendent que chaque page se stabilise et vérifient chaque clic.
• Murs anti-bots : chaque configuration a heurté un mur anti-bots sur 20 à 26 des 100 tâches, car les agents côté serveur obtiennent une IP de datacenter.

Ce qui distingue les navigateurs

Claude in Chrome pilote votre propre Chrome via l'extension d'Anthropic. 5dive exécute Chrome sur le propre serveur de l'agent et reste connecté ; lorsqu'un site déclenche une vérification anti-robot, l'agent vous envoie un lien à usage unique vers cette fenêtre en direct pour que vous puissiez résoudre le défi et le laisser continuer.

Limites signalées par l'auteur

• Modèle économique, une seule tentative par tâche réelle.
• Les agents ont construit le banc de test ; le juge a utilisé Haiku 5.5, donc les scores ne sont pas comparables au classement du benchmark.
• Claude in Chrome et Hermes ont été exécutés un ou deux jours après les autres, et les sites en direct changent.
• L'auteur a développé le navigateur 5dive, il n'est donc pas neutre.

Il dit qu'il relancerait OpenClaw avec tout réglage que ses utilisateurs pensent réduire les appels. Les résultats bruts sont dans un gist public, et 5dive est open source sous MIT.