TinyFish Web Agent übertrifft Wettbewerber bei der Web-Task-Benchmarking.

Der TinyFish Web Agent hat sich als führendes Tool zur Bewältigung komplexer Web-Aufgaben erwiesen und erreichte eine Erfolgsquote von 81,9 % bei schwierigen Aufgaben im Online-Mind2Web-Benchmark, der aus 300 Aufgaben auf 136 aktiven Websites besteht. Diese Zahl steht im krassen Gegensatz zu wichtigen Wettbewerbern wie OpenAI Operator, der nur eine Erfolgsquote von 43,2 % bei ähnlichen Aufgaben erzielte.

Der Online-Mind2Web-Benchmark ist ein strenges Maß für die Fähigkeiten eines Web-Agenten und testet sie bei Aufgaben, die von einfachen, wie dem Durchstöbern von Kreditkartenangeboten bei Marriott, bis hin zu komplexen Herausforderungen, wie der Buchung von Veranstaltungstickets mit dynamischer Preissetzung, reichen. Die Aufgaben umfassen mehrere Schritte mit aktiven Websites, darunter das Handling von Formularvalidierungen und Pop-ups, was es zu einem realistischen Test im Vergleich zu anderen weniger zuverlässigen Benchmarks wie WebVoyager macht.

TinyFish zeichnet sich dadurch aus, dass es kumulierte Fehler effektiv handhabt. Es verliert nur 15,6 Punkte von einfachen zu schwierigen Aufgaben im Vergleich zu massiven Einbrüchen, die andere Systeme zeigen, was seine Robustheit in realen Szenarien hervorhebt. Erwähnenswert ist, dass es alle 300 Aufgabenausführungen veröffentlicht hat, einschließlich der 40 Fehlschläge, was Transparenz über seine Leistungsmerkmale und Fehlerfälle bietet, wie zum Beispiel Infrastruktur-Blockaden auf Websites wie apartments.com.

Entwickler, die nach einem robusten Tool zur Webautomatisierung suchen, könnten an TinyFishs Open-Source-Kochbuch-Repository interessiert sein, das Einblicke in seine Architektur und Ausführungsmethodik bietet.