Examen des performances d'Omnicoder-9B : Vitesse contre problèmes d'appel d'outils

Vue d'ensemble technique

Omnicoder-9B est un modèle spécifique au codage développé par Tesslate, basé sur l'architecture Qwen 3.5. Il est affiné sur Qwen3.5 9B en utilisant des sorties de plusieurs modèles incluant Opus 4.6, GPT 5.4, GPT 5.3 Codex et Gemini 3.1 Pro.

Caractéristiques de performance

Le modèle démontre de solides performances sur du matériel de milieu de gamme. Avec 12 Go de VRAM, les utilisateurs rapportent une génération de tokens constante à 15 tokens/seconde même avec une taille de contexte fixée à 100k. Le traitement des prompts est remarquablement rapide à environ 265 tokens/seconde. Le modèle fonctionne sans planter les systèmes ou causer de dégradation des performances.

Limitations et problèmes

Malgré les avantages en vitesse, Omnicoder-9B montre plusieurs limitations dans des scénarios de codage pratiques :

• N'a pas réussi à générer un clone complet de Super Mario dans un fichier HTML autonome avec un prompt en une seule fois
• A rencontré des échecs d'appel d'outils avec les serveurs MCP, générant des erreurs MCP pendant la récupération de données
• Problèmes d'exécution des appels d'outils d'écriture depuis Claude Code, bien que cela puisse impliquer des facteurs de compatibilité

Tests d'intégration IDE

Les tests dans les environnements de développement ont révélé des résultats mitigés :

• Dans LM Studio avec Roo Code : Des déconnexions se sont produites lorsque la taille des tokens augmentait à 4k, bien que cela semble être un problème d'intégration plutôt que spécifique au modèle
• Le modèle a réussi à mettre à jour ou écrire de petits scripts avec des tailles de tokens entre 2-3k
• Les requêtes API ont échoué pour les tokens au-dessus de 4k sans messages d'erreur
• Dans Claude Code : La génération de tokens semblait plus lente comparée à Roo Code, et le modèle a échoué à exécuter les appels d'outils d'écriture après avoir généré une sortie

L'utilisateur note que Roo Code a été l'extension la plus efficace pour les LLM locaux parmi Continue et les autres options testées.