Le Benchmark OpenClaw Montre que Qwen3.5:27B Surpasse les Autres LLMs Locaux pour les Tâches d'Agent

Configuration et Résultats du Benchmark

Un utilisateur a testé 7 modèles locaux sur 22 tâches d'agent réelles en utilisant OpenClaw sur un Raspberry Pi 5 avec une RTX 3090 exécutant Ollama. Les tâches comprenaient la lecture d'e-mails, la planification de réunions, la création de tâches, la détection de phishing, la gestion d'erreurs et l'automatisation du navigateur.

Le gagnant, avec une avance considérable, était qwen3.5:27b-q4_K_M à 59,4 %. Le deuxième (qwen3.5:35b) n'a obtenu que 23,2 %. Tous les autres modèles ont obtenu moins de 5 %.

Principales Constatations

• Le modèle quantifié 27B a battu la version plus grande 35B par 2,5 fois
• Un modèle 30B s'est classé dernier avec 1,6 %
• Une réflexion modérée a fonctionné le mieux - trop réfléchir a en fait nui aux performances
• Aucun modèle n'a pu accomplir les tâches d'automatisation du navigateur
• Le principal facteur différenciant les gagnants des perdants était la capacité du modèle à trouver et utiliser des outils en ligne de commande
• La plupart des modèles n'ont même pas pu trouver des outils de base comme la fonction de messagerie

Ce benchmark fournit des données concrètes sur la performance de différents LLM locaux en tant qu'agents IA dans des scénarios pratiques. L'écart de performance significatif entre le meilleur modèle et les autres suggère que la capacité à trouver des outils est un goulot d'étranglement critique pour les agents LLM locaux.