Évaluation des LLM locaux : génération backend par appel de fonctions – comparaison entre GLM, Qwen et DeepSeek

Cinq mois après une première mesure non contrôlée, AutoBe.dev a publié un benchmark propre des LLM locaux et frontaliers pour la génération de code backend via l'appel de fonctions. Le benchmark utilise une configuration à variable contrôlée avec une grille d'évaluation réelle, testant les modèles sur la génération de schémas AST à union récursive via un harnais d'appel de fonctions.
Principaux résultats
- Le harnais d'appel de fonctions a effectivement comblé l'écart entre les modèles frontaliers et locaux en génération backend. Plus précisément, les scores de conception DB/API de
gpt-5.4sont approximativement égaux à ceux deqwen3.5-35b-a3b, et les scores de logique declaude-sonnet-4.6correspondent à ceux deqwen3.5-27b. - Ceci est le dernier tour incluant les modèles frontaliers. Les exécuter mensuellement coûte environ 200–300 millions de tokens (~1 000–1 500 $ par modèle sur la tarification GPT 5.5). À partir du mois prochain, seuls les endpoints OpenRouter à moins de 0,25 $/M tokens ou les modèles tenant sur un ordinateur portable à mémoire unifiée de 64 Go seront inclus.
- L'automatisation frontend sera ajoutée au benchmark dans le tour de juin/juillet, en utilisant le SDK qu'AutoBe émet déjà pour piloter des frontends entièrement construits par IA (visuels bruts, mais toutes les fonctions fonctionnent).
Inversions inattendues
Plusieurs résultats sont encore en cours d'investigation :
openai/gpt-5.4obtient des scores inférieurs à ceux de son propremini.deepseek-v4-prose place un cran en dessous deqwen3.5-35b-a3bet se démarque à peine de son propreFlash.- Dans la famille Qwen, le dense 27B bat toutes les variantes MoE, y compris 397B-A17B.
Les explications possibles en cours d'investigation incluent le phénomène de conformité au CoT (les modèles plus grands/frontaliers ont tendance à ignorer les instructions procédurales imposées par le harnais) et des défauts du benchmark (n=4 projets de référence, bande de score étroite, harnais évaluant son propre pipeline).
Modèles recommandés
Trois candidats verrouillés pour le mois prochain :
openai/gpt-5.4-nano— 0,25 $/M tokensqwen/qwen3.6-27b— 0,195 $/M tokensdeepseek/deepseek-v4-flash— 0,14 $/M tokens
Tous sont à moins de 0,25 $/M sur OpenRouter ou exécutables sur un ordinateur portable à mémoire unifiée de 64 Go, et gèrent proprement l'appel de fonctions.
Références
- Tableau de bord du benchmark : https://autobe.dev/benchmark/
- Résultats de génération : GitHub : autobe-examples
- Dépôt GitHub : https://github.com/wrtnlabs/autobe
📖 Lire la source complète : r/LocalLLaMA
👀 See Also

Le libibverbs d'Apple masque les symboles GPUDirect RDMA ; le tampon Metal à copie zéro RDMA fonctionne sur macOS
Un développeur a découvert que le sous-système RDMA d'Apple accepte les tampons GPU Metal pour les transferts réseau sans copie et a trouvé des symboles ibv_reg_dmabuf_mr cachés suggérant que GPUDirect RDMA est possible sur macOS sans modification du noyau.

Les meilleurs modèles d'IA présentent un écart de performance dans les langues non anglophones.
Une analyse récente montre que les principaux modèles d'IA obtiennent de moins bonnes performances dans les langues autres que l'anglais, l'article ayant reçu 16 points et 3 commentaires sur Hacker News.

Anthropic bloque les abonnements à Claude via des outils tiers
Anthropic a mis en place des blocages côté serveur pour les abonnements Claude Pro/Max utilisés via des intégrations OAuth tierces, invoquant une exploitation à grande échelle d'un accès subventionné. Le changement de politique inclut une facturation 'Usage Supplémentaire' qui rend ces intégrations économiquement non viables.

Expérience du développeur avec Claude IA : Du partenaire de réflexion à l'externalisation cognitive
Un développeur partage une expérience de 8 mois d'utilisation quotidienne de Claude AI, notant un passage de l'utilisation pour affiner une réflexion existante à l'externalisation complète de la réflexion initiale. Le billet décrit deux approches cognitives distinctes : l'IA comme partenaire de réflexion versus l'IA comme générateur de première passe.