10 agents IA testés sur Qwen3.5-4B : Pi termine 5 tâches en 1 min 36 s, OpenCode prend 17 min 43 s

Un développeur a évalué 10 agents de codage IA sur Qwen3.5-4B, chacun exécuté en mode headless avec confirmation automatique et télémétrie désactivée dans la mesure du possible. Chaque agent disposait de son propre dossier de paramètres isolé, d'une copie fraîche du fixture et de 10 minutes par tâche. La suite complète a été lancée via adapters/<agent>.sh avec des vérifications automatisées depuis check/check.sh.

Les 5 tâches

• T1 — Lire un port de base de données depuis un fichier YAML (sans le confondre avec le port du cache), l'écrire dans un fichier.
• T2 — Écrire un script stats.py, l'exécuter, sauvegarder la sortie.
• T3 — Corriger un bug dans slugify pour que les tests passent ; des exemples cachés détectent le surapprentissage.
• T4 — Compter les lignes ERROR dans trois fichiers journaux, trouver l'erreur la plus fréquente.
• T5 — Renommer une fonction dans trois fichiers sans modifier la sortie du programme.

Résultats (temps total, tâches réussies)

• Pi v1.3.0 — 1 min 36 s, 5/5. T1 10 s, T2 14 s, T3 24 s, T4 19 s, T5 29 s. Il n'a presque pas besoin de réfléchir aux formats d'outils.
• goose v1.55.0 — 2 min 51 s, 5/5. Constant, sans hésitation.
• Crush v0.98.1 — 3 min 31 s, 5/5. Raisonnement légèrement plus verbeux.
• Atomic Agent v0.6.9 — 4 min 38 s, 5/5. Plus lent sur T3 (77 s) et T5 (104 s) à cause des éditions multi-fichiers, mais aucune erreur d'appel d'outil ni fausse complétion.
• Cline v3.0.73 — 5 min 56 s, 5/5. Bloqué plus de deux minutes sur T2 avant d'écrire correctement.
• OpenClaw v2026.10.5 — 5 min 44 s, 5/5. Exécuté en mode --local-model-lean ; plus lent sur T3 (107 s) et T4 (116 s).
• OpenCode v1.19.3 — 17 min 43 s. A tout terminé mais avec une moyenne de près de 4 minutes par tâche ; le modèle a trop réfléchi sur des étapes simples.

Sept agents sont documentés avec temps et nombres de réussites. Le post source en liste 10, mais seules les sept premières entrées incluent des tableaux de benchmark dans l'extrait. Les temps bruts par tâche et les scripts adapter/check complets sont dans le fil original.

À retenir pour ceux qui utilisent de petits modèles locaux : la normalisation des formats d'appel d'outils compte plus que la taille brute du modèle ici. Les agents qui fournissent au modèle un schéma d'outil simple et rigide (Pi, goose) ont terminé le même 5/5 en quelques minutes, tandis que des boucles plus généralistes ont perdu du temps sur le formatage et la réflexion excessive.