OpenClaw Browser erledigt die meisten Aufgaben im 100-Aufgaben-Live-Web-Benchmark, aber zu 3,5-fachen Kosten

Ein Entwickler hat den Browser von OpenClaw gegen vier andere Agenten-Setups auf 100 schwierigen Live-Web-Aufgaben aus Online-Mind2Web antreten lassen. OpenClaw erledigte die meisten Aufgaben – 35 – war aber auch am langsamsten und am teuersten: 4,80 $ gegenüber 0,65 $ für den günstigsten Rivalen.

Das Setup

Alle Setups nutzten Claude Haiku 5.5, headed Chrome, dieselben Prompts, denselben Server und dieselbe IP. Das Limit lag bei 10 Minuten pro Aufgabe, mit einem Versuch pro Aufgabe.

Ergebnisse (erledigt / Medianzeit / Gesamtkosten)

• OpenClaw: 35, 141 s, 4,80 $
• 5dive (Claude Code): 32, 105 s, 1,39 $
• Claude in Chrome: 29, 67 s, 0,91 $ (Schätzung – läuft über ein Abo)
• 5dive (pi): 29, 105 s, 0,65 $
• Hermes: 18, 86 s, 0,72 $

Der Autor merkt an, dass die Unterschiede zwischen den besten Setups in seinen Paar-Tests statistisch nicht signifikant waren.

Warum die Unterschiede

• Hermes hört früher auf: 11,6 Schritte pro Aufgabe gegenüber 23,5 bei OpenClaw. Ohne die Aufgaben, bei denen es blockiert wurde, erledigte Hermes immer noch 22 % gegenüber 45 % bei OpenClaw.
• Batching: OpenClaws Batching war standardmäßig aktiviert, und sein Agent nutzte es bei 5 der 100 Aufgaben.
• Token-Wiederholungen: In kleineren Tests las jeder OpenClaw-Aufruf 72K Tokens erneut, gegenüber 43K bei Claude Code und 4,5K bei pi.
• Geschwindigkeit: Claude in Chrome war mit 67 s pro Aufgabe am schnellsten – seine Schritte dauerten 4 s gegenüber 8–10 s bei den anderen. Der Autor vermutet, dass sie auf das Laden jeder Seite warten und jeden Klick doppelt prüfen.
• Bot-Walls: Jedes Setup stieß bei 20–26 der 100 Aufgaben auf eine Bot-Wall, weil serverseitige Agenten eine Datacenter-IP bekommen.

Wie sich die Browser unterscheiden

Claude in Chrome steuert deinen eigenen Chrome über Anthropics Erweiterung. 5dive betreibt Chrome auf dem eigenen Server des Agenten und bleibt eingeloggt; wenn eine Website eine Robot-Prüfung auslöst, schickt der Agent dir einen Einmal-Link zu diesem Live-Fenster, damit du sie lösen und ihn weitermachen lassen kannst.

Vom Autor genannte Einschränkungen

• Günstiges Modell, ein Versuch pro Live-Aufgabe.
• Die Agenten bauten das Testgerüst; der Judge verwendete Haiku 5.5, daher sind die Punkte nicht mit dem Leaderboard des Benchmarks vergleichbar.
• Claude in Chrome und Hermes liefen ein bis zwei Tage nach den anderen, und Live-Websites ändern sich.
• Der Autor entwickelte den 5dive-Browser und ist daher nicht neutral.

Er sagt, er würde OpenClaw mit jeder Einstellung erneut testen, von der seine Nutzer glauben, dass sie die Aufrufe reduziert. Die Rohdaten liegen in einem öffentlichen Gist, und 5dive ist Open Source unter MIT.