Évaluation des LLM locaux : génération backend par appel de fonctions – comparaison entre GLM, Qwen et DeepSeek

✍️ OpenClawRadar📅 Publié: May 3, 2026🔗 Source
Évaluation des LLM locaux : génération backend par appel de fonctions – comparaison entre GLM, Qwen et DeepSeek
Ad

Cinq mois après une première mesure non contrôlée, AutoBe.dev a publié un benchmark propre des LLM locaux et frontaliers pour la génération de code backend via l'appel de fonctions. Le benchmark utilise une configuration à variable contrôlée avec une grille d'évaluation réelle, testant les modèles sur la génération de schémas AST à union récursive via un harnais d'appel de fonctions.

Principaux résultats

  • Le harnais d'appel de fonctions a effectivement comblé l'écart entre les modèles frontaliers et locaux en génération backend. Plus précisément, les scores de conception DB/API de gpt-5.4 sont approximativement égaux à ceux de qwen3.5-35b-a3b, et les scores de logique de claude-sonnet-4.6 correspondent à ceux de qwen3.5-27b.
  • Ceci est le dernier tour incluant les modèles frontaliers. Les exécuter mensuellement coûte environ 200–300 millions de tokens (~1 000–1 500 $ par modèle sur la tarification GPT 5.5). À partir du mois prochain, seuls les endpoints OpenRouter à moins de 0,25 $/M tokens ou les modèles tenant sur un ordinateur portable à mémoire unifiée de 64 Go seront inclus.
  • L'automatisation frontend sera ajoutée au benchmark dans le tour de juin/juillet, en utilisant le SDK qu'AutoBe émet déjà pour piloter des frontends entièrement construits par IA (visuels bruts, mais toutes les fonctions fonctionnent).
Ad

Inversions inattendues

Plusieurs résultats sont encore en cours d'investigation :

  • openai/gpt-5.4 obtient des scores inférieurs à ceux de son propre mini.
  • deepseek-v4-pro se place un cran en dessous de qwen3.5-35b-a3b et se démarque à peine de son propre Flash.
  • Dans la famille Qwen, le dense 27B bat toutes les variantes MoE, y compris 397B-A17B.

Les explications possibles en cours d'investigation incluent le phénomène de conformité au CoT (les modèles plus grands/frontaliers ont tendance à ignorer les instructions procédurales imposées par le harnais) et des défauts du benchmark (n=4 projets de référence, bande de score étroite, harnais évaluant son propre pipeline).

Modèles recommandés

Trois candidats verrouillés pour le mois prochain :

  • openai/gpt-5.4-nano — 0,25 $/M tokens
  • qwen/qwen3.6-27b — 0,195 $/M tokens
  • deepseek/deepseek-v4-flash — 0,14 $/M tokens

Tous sont à moins de 0,25 $/M sur OpenRouter ou exécutables sur un ordinateur portable à mémoire unifiée de 64 Go, et gèrent proprement l'appel de fonctions.

Références

📖 Lire la source complète : r/LocalLLaMA

Ad

👀 See Also

Modèles de dépenses de l'agent OpenClaw et absence de plafonds de dépenses
News

Modèles de dépenses de l'agent OpenClaw et absence de plafonds de dépenses

Un développeur a suivi les dépenses de l'agent OpenClaw pendant plus de deux mois et a constaté que la plupart des agents dépensent en moyenne 40 à 80 $/mois en frais d'API et de services lorsqu'ils ne sont pas contrôlés, avec des pics survenant les week-ends et la nuit. Le comportement par défaut est illimité, sans plafond de dépenses intégré.

OpenClawRadar
Explorer le monde dynamique des machines en mouvement
News

Explorer le monde dynamique des machines en mouvement

Découvrez comment les agents de codage alimentés par l'IA transforment l'industrie dans la dernière discussion de la communauté technologique. Plongez dans les perspectives d'OpenClawRadar alors que nous mettons en lumière les aspects clés de cette technologie en évolution.

OpenClawRadar
Affinage de Qwen2.5-7B à 96% de Claude Haiku avec 3$ et zéro annotateurs humains
News

Affinage de Qwen2.5-7B à 96% de Claude Haiku avec 3$ et zéro annotateurs humains

Un développeur a affiné Qwen2.5-7B pour atteindre 96% des performances de Claude Haiku sur une tâche de raisonnement décisionnel spécifique au domaine, en utilisant seulement 3$ en appels API et zéro étiqueteur humain, grâce à une nouvelle méthode DV-DPO.

OpenClawRadar
RTX 5000 PRO 48GB offre un cache de précision de 4400 tok/s pour Qwen3.6-27B
News

RTX 5000 PRO 48GB offre un cache de précision de 4400 tok/s pour Qwen3.6-27B

Un premier assembleur de PC rapporte 4400 tok/s en traitement des invites et 80 tok/s en génération avec Qwen3.6-27B-FP8 et cache KV pleine précision sur une seule RTX 5000 Pro 48 Go, utilisant vLLM et Claude Code.

OpenClawRadar