Hermes contre OpenClaw : un benchmark sur du travail réel se termine par une leçon de mémoire

Un développeur a mené une comparaison directe entre Hermes et OpenClaw sur des projets réels. Bien que les deux aient obtenu des scores proches en qualité de sortie, le facteur décisif a été la gestion de la mémoire. Le modèle d'apprentissage explicite et vérifiable d'OpenClaw a fait la différence après qu'Hermes a transformé un compliment anodin en règle globale cachée qui a influencé des semaines de travail.

Configuration du benchmark

L'utilisateur a effectué cinq cycles de travail réel : recherche, développement d'une application sur un grand jeu de données public, création de contenu et recherche d'emploi. Les deux agents ont reçu des briefs identiques. Les résultats complets des deux côtés sont disponibles sur le blog de l'auteur pour examen indépendant.

Résultats de performance

Les résultats étaient presque identiques. Les deux outils ont développé des applications sans problème, trouvé les mêmes vérités en recherche, et obtenu des scores globaux similaires. Les différences étaient stylistiques :

• Hermes écrivait comme un chercheur — rigoureux, cité, prudent.
• OpenClaw écrivait de manière opérationnelle — synthèse d'abord, orientée action.

Pour le travail quotidien de l'auteur, le style pratique d'OpenClaw a été préféré.

Le problème de mémoire

Le benchmark n'a pas changé la configuration de l'auteur — la mémoire l'a fait. En utilisant Hermes, il a complimenté une idée concernant une revue de code. Hermes a automatiquement promu ce commentaire isolé en règle globale : la revue de code est le goulot d'étranglement pour tous les problèmes d'ingénierie logicielle. Pendant des semaines, chaque brief renvoyait une variation de ce thème. Lui dire d'arrêter n'a pas aidé ; il était d'accord mais répétait le comportement. La règle a orienté les sorties de manière invisible.

OpenClaw n'apprend que par un enseignement explicite — plus lent, délibéré et facile à auditer. Vous savez toujours ce qu'il sait parce que vous le lui avez appris. L'auteur a trouvé cela rafraîchissant après que son propre agent a cessé de se répéter.

Pourquoi OpenClaw a gagné

L'auteur a conclu qu'il peut vivre avec un outil qu'il doit enseigner, mais pas avec un outil qui apprend silencieusement des leçons non sollicitées et oriente son travail en conséquence. La question n'est pas de savoir lequel obtient le meilleur score sur un benchmark, mais lequel des échecs est acceptable.

Pour les développeurs évaluant les modèles de mémoire, ce compromis compte. L'apprentissage automatique peut être puissant, mais la sur-généralisation risque d'orienter la sortie sur des hypothèses erronées.

Voir l'article complet avec tous les artefacts des deux côtés sur engineering.kenmazaika.com.