Test à l'aveugle : 5 agents d'IA locaux, même modèle Qwen 27B — un a échoué à une invite d'installation

Quelqu'un sur r/openclaw a fait passer à cinq agents de codage locaux une suite identique de cinq tâches sur le même matériel et le même modèle, puis a masqué les noms et demandé aux lecteurs de deviner lequel est OpenClaw. Les concurrents : Atomic Agent, goose, Hermes, OpenClaw et OpenCode.

La configuration

• Modèle : Qwen 3.8 27B non censuré, quantification Q4_K_M
• Runtime : llama.cpp
• Matériel : MacBook Pro M5 Max, 64 Go de RAM
• Un agent à la fois, approbation automatique activée
• Un script décide de la réussite ou de l'échec — pas de notation humaine

Les tâches étaient du développement ordinaire : fusionner deux listes de contacts, renommer une fonction dans trois fichiers, corriger un bug avec des tests cachés, compter les erreurs dans trois fichiers journaux et convertir un reçu PDF en tableur.

Résultats (noms masqués)

Agent   1. Contacts   2. Renommage   3. Correction de bug   4. Erreurs   5. Reçu   Total
A       ✅ 4:54       ✅ 0:28        ✅ 0:43                ✅ 0:26      ✅ 3:58   10:29
B       ✅ 6:03       ✅ 1:11        ✅ 0:55                ✅ 0:54      ✅ 15:04  24:07
C       ✅ 13:32      ✅ 0:24        ❌ 0:22                ✅ 0:57      ❌ 0:49   16:04
D       ✅ 6:16       ✅ 1:12        ✅ 0:56                ✅ 0:56      ✅ 2:50   12:10
E       ✅ 5:50       ✅ 1:01        ✅ 0:21                ✅ 0:26      ✅ 3:56   11:34

Quatre agents sur cinq ont réussi les cinq tâches. L'agent C en a échoué deux.

Là où les agents ont divergé

Sur la tâche de conversion du reçu en tableur, les agents A et B ont rencontré une bibliothèque Python manquante et l'ont installée sans demander. L'agent C s'est arrêté et a demandé la permission d'installer — personne n'a répondu, donc il a échoué. L'agent D a terminé le travail et n'a demandé qu'ensuite comment nommer le fichier de sortie.

Le schéma d'échec compte plus que les temps : les outils de codage agentiques qui se bloquent sur une entrée humaine dans une boucle non surveillée sont effectivement non fonctionnels dans ce type d'exécution. C a payé pour sa politesse.

Sur la correction du bug, C a transformé "Q3/Q4" en "q3q4" au lieu de "q3-q4" — une transformation plausible mais erronée que les tests cachés ont détectée.

Les autres tâches étaient uniformes : les cinq ont correctement fusionné les listes de contacts pour obtenir 46 personnes, les cinq ont réussi le renommage sur trois fichiers et les cinq ont compté 43 erreurs dans les fichiers journaux.

L'écart de vitesse était large. E a terminé en 11:34 ; B a pris 24:07, presque entièrement à cause des 15:04 sur la tâche du reçu. C'est le genre de variance que l'on obtient par l'échantillonnage et les nouvelles tentatives d'appels d'outils plutôt que par la qualité du modèle.

L'auteur indique que le corrigé sera publié dans un jour ou deux, donc la correspondance entre les lettres et les produits reste ouverte.