Évaluation des LLM locaux : génération backend par appel de fonctions – comparaison entre GLM, Qwen et DeepSeek
Cinq mois après une première mesure non contrôlée, AutoBe.dev a publié un benchmark propre des LLM locaux et frontaliers pour la génération de code backend via l'appel de fonctions. Le benchmark utilise une configuration à variable contrôlée avec une grille d'évaluation réelle, testant les modèles sur la génération de schémas AST à union récursive via un harnais d'appel de fonctions.
Principaux résultats
- Le harnais d'appel de fonctions a effectivement comblé l'écart entre les modèles frontaliers et locaux en génération backend. Plus précisément, les scores de conception DB/API de
gpt-5.4sont approximativement égaux à ceux deqwen3.5-35b-a3b, et les scores de logique declaude-sonnet-4.6correspondent à ceux deqwen3.5-27b. - Ceci est le dernier tour incluant les modèles frontaliers. Les exécuter mensuellement coûte environ 200–300 millions de tokens (~1 000–1 500 $ par modèle sur la tarification GPT 5.5). À partir du mois prochain, seuls les endpoints OpenRouter à moins de 0,25 $/M tokens ou les modèles tenant sur un ordinateur portable à mémoire unifiée de 64 Go seront inclus.
- L'automatisation frontend sera ajoutée au benchmark dans le tour de juin/juillet, en utilisant le SDK qu'AutoBe émet déjà pour piloter des frontends entièrement construits par IA (visuels bruts, mais toutes les fonctions fonctionnent).
Inversions inattendues
Plusieurs résultats sont encore en cours d'investigation :
openai/gpt-5.4obtient des scores inférieurs à ceux de son propremini.deepseek-v4-prose place un cran en dessous deqwen3.5-35b-a3bet se démarque à peine de son propreFlash.- Dans la famille Qwen, le dense 27B bat toutes les variantes MoE, y compris 397B-A17B.
Les explications possibles en cours d'investigation incluent le phénomène de conformité au CoT (les modèles plus grands/frontaliers ont tendance à ignorer les instructions procédurales imposées par le harnais) et des défauts du benchmark (n=4 projets de référence, bande de score étroite, harnais évaluant son propre pipeline).
Modèles recommandés
Trois candidats verrouillés pour le mois prochain :
openai/gpt-5.4-nano— 0,25 $/M tokensqwen/qwen3.6-27b— 0,195 $/M tokensdeepseek/deepseek-v4-flash— 0,14 $/M tokens
Tous sont à moins de 0,25 $/M sur OpenRouter ou exécutables sur un ordinateur portable à mémoire unifiée de 64 Go, et gèrent proprement l'appel de fonctions.
Références
- Tableau de bord du benchmark : https://autobe.dev/benchmark/
- Résultats de génération : GitHub : autobe-examples
- Dépôt GitHub : https://github.com/wrtnlabs/autobe
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Modèles de dépenses de l'agent OpenClaw et absence de plafonds de dépenses
Un développeur a suivi les dépenses de l'agent OpenClaw pendant plus de deux mois et a constaté que la plupart des agents dépensent en moyenne 40 à 80 $/mois en frais d'API et de services lorsqu'ils ne sont pas contrôlés, avec des pics survenant les week-ends et la nuit. Le comportement par défaut est illimité, sans plafond de dépenses intégré.
Explorer le monde dynamique des machines en mouvement
Découvrez comment les agents de codage alimentés par l'IA transforment l'industrie dans la dernière discussion de la communauté technologique. Plongez dans les perspectives d'OpenClawRadar alors que nous mettons en lumière les aspects clés de cette technologie en évolution.
Affinage de Qwen2.5-7B à 96% de Claude Haiku avec 3$ et zéro annotateurs humains
Un développeur a affiné Qwen2.5-7B pour atteindre 96% des performances de Claude Haiku sur une tâche de raisonnement décisionnel spécifique au domaine, en utilisant seulement 3$ en appels API et zéro étiqueteur humain, grâce à une nouvelle méthode DV-DPO.
RTX 5000 PRO 48GB offre un cache de précision de 4400 tok/s pour Qwen3.6-27B
Un premier assembleur de PC rapporte 4400 tok/s en traitement des invites et 80 tok/s en génération avec Qwen3.6-27B-FP8 et cache KV pleine précision sur une seule RTX 5000 Pro 48 Go, utilisant vLLM et Claude Code.