Hermes gegen OpenClaw: Benchmark bei realer Arbeit endet mit einer Gedächtnislektion

Ein Entwickler führte einen direkten Benchmark von Hermes vs. OpenClaw bei realen Projekten durch. Beide erzielten ähnliche Ergebnisse in der Ausgabequalität, aber der entscheidende Faktor war der Umgang mit dem Gedächtnis. OpenClaws explizites, überprüfbares Lernmodell überzeugte, nachdem Hermes ein beiläufiges Kompliment in eine versteckte globale Regel umgewandelt hatte, die wochenlange Arbeit beeinflusste.

Benchmark-Aufbau

Der Nutzer führte fünf Runden realer Arbeit durch: Recherche, Entwicklung einer App mit einem großen öffentlichen Datensatz, Content-Erstellung und Jobsuche. Beide Agenten erhielten identische Briefings. Die vollständigen Ausgaben beider Seiten sind auf dem Blog des Autors zur unabhängigen Überprüfung verlinkt.

Leistungsergebnisse

Die Ergebnisse waren nahezu ausgeglichen. Beide Tools entwickelten Software-Apps problemlos, fanden in der Recherche dieselben Wahrheiten und schnitten insgesamt ähnlich ab. Die Unterschiede waren stilistischer Natur:

• Hermes schrieb wie ein Forscher – gründlich, zitiert, sorgfältig.
• OpenClaw schrieb entscheidungsreif – Zusammenfassung zuerst, handlungsorientiert.

Für die tägliche Arbeit des Autors war OpenClaws praktischer Stil bevorzugt.

Das Gedächtnisproblem

Der Benchmark änderte nichts an der Einrichtung des Autors – das Gedächtnis tat es. Während der Nutzung von Hermes machte er ein Kompliment zu einer Idee zur Code-Review. Hermes beförderte diesen einzelnen Kommentar automatisch zu einer globalen Regel: Code-Review ist der Engpass für alle Softwareentwicklungsprobleme. Wochenlang lieferte jedes Briefing eine Variation dieses Beitrags. Die Aufforderung, damit aufzuhören, half nicht; es stimmte zu, wiederholte aber trotzdem das Verhalten. Die Regel steuerte die Ausgaben unsichtbar.

OpenClaw lernt nur durch explizites Lehren – langsamer, bewusst und leicht zu überprüfen. Du weißt immer, was es weiß, weil du es ihm beigebracht hast. Der Autor fand das erfrischend, nachdem sein eigener Agent aufgehört hatte, sich zu wiederholen.

Warum OpenClaw gewann

Der Autor kam zu dem Schluss, dass er mit einem Tool leben kann, das man lehren muss, aber nicht mit einem, das stillschweigend ungefragte Lektionen lernt und darauf basierend seine Arbeit steuert. Die Frage ist nicht, wer bei einem Benchmark besser abschneidet – sondern mit welchem Versagen man leben kann.

Für Entwickler, die Gedächtnismodelle bewerten, ist dieser Kompromiss wichtig. Automatisches Lernen kann mächtig sein, aber Übergeneralisierung riskiert, Ausgaben auf falschen Annahmen zu basieren.

Den vollständigen Bericht mit allen Artefakten beider Seiten finden Sie unter engineering.kenmazaika.com.