Résultats de Benchmark : 15 LLM Testés sur 38 Tâches de Flux de Travail Réelles

✍️ OpenClawRadar📅 Publié: March 10, 2026🔗 Source
Résultats de Benchmark : 15 LLM Testés sur 38 Tâches de Flux de Travail Réelles
Ad

Un développeur a créé un banc d'essai pour déterminer vers quels LLMs router le travail, en testant 15 modèles sur 38 tâches issues de son flux de travail réel. Les tâches incluaient des transformations CSV, des comptages de lettres, de l'arithmétique modulaire, de la conformité de format et des instructions en plusieurs étapes. Toutes les tâches ont été notées de manière programmatique à l'aide d'expressions régulières et de correspondances exactes — aucun juge LLM n'a été impliqué.

Résultats du benchmark

Le benchmark a impliqué 570 appels API coûtant 2,29 $ au total. Principales conclusions :

  • Claude 3.5 Opus : score de 100 %, 0,69 $ par exécution, 14,2 secondes
  • Claude 3.5 Sonnet : score de 100 %, 0,20 $ par exécution, 5,1 secondes
  • MiniMax M2.5 : score de 98,60 %, 0,02 $ par exécution, 2,3 secondes
  • Kimi K2.5 : score de 98,60 %, 0,05 $ par exécution, 3,8 secondes
  • GPT-oss-20b (local) : score de 98,30 %, 0 $ par exécution, 4,1 secondes
  • Gemini 2.5 Flash : score de 97,10 %, 0,00 $ par exécution, 1,1 seconde
  • Claude 3.5 Haiku : score de 96,90 %, 0,02 $ par exécution, 1,8 seconde
Ad

Analyse coût-performance

Sonnet et Opus ont tous deux obtenu 100 %, mais Opus coûte 3,5 fois plus par appel. Pour les tâches quotidiennes du développeur, Sonnet gère tout ce qu'Opus fait. Gemini Flash à 0,003 $ par exécution contre Opus à 0,69 $ représente une différence de coût de 265 fois pour un écart de performance de 2,9 points.

Découvertes surprenantes

MiniMax M2.5 et Kimi K2.5 ont tous deux atteint 98,6 % avec une conformité de format de 100 % — le développeur n'avait utilisé aucun de ces modèles avant de lancer le benchmark. GPT-oss-20b fonctionnant localement a obtenu 98,3 % pour 0 $, surpassant Haiku et DeepSeek R1.

Processus d'assurance qualité

Le processus d'assurance qualité a révélé des bugs de notation. Les résultats initiaux montraient Haiku battant Sonnet, ce qui s'est avéré être un bug du système de notation produisant des scores de qualité supérieurs à 100 %. Cinq passes d'assurance qualité ont été réalisées, chacune avec un modèle différent, et chacune a trouvé des bugs que les précédentes avaient manqués.

Le développeur change son outil principal pour Sonnet sur la base de ces résultats, mais prévoit de basculer plus fréquemment entre les modèles compte tenu des variations de performance.

📖 Read the full source: r/ClaudeAI

Ad

👀 See Also

Configurations éphémères d'OpenClaw avec sandboxing réseau et démantèlement automatique
Tools

Configurations éphémères d'OpenClaw avec sandboxing réseau et démantèlement automatique

Une configuration qui démarre OpenClaw dans une VM éphémère avec une liste d'autorisation de sortie réseau, injecte des clés API dans un stockage en mémoire vive et inclut un arrêt automatique après 2 heures. Tous les appels LLM sont enregistrés dans SQLite pour relecture.

OpenClawRadar
Compétence d'Audit SEO OpenClaw Lancée pour l'Analyse Technique de Sites Web
Tools

Compétence d'Audit SEO OpenClaw Lancée pour l'Analyse Technique de Sites Web

Une nouvelle compétence OpenClaw effectue des audits SEO complets avec la commande 'seo audit [url]', vérifiant le SEO technique, la qualité du contenu, les éléments on-page, les données structurées, les métriques de performance, les images et la préparation à la recherche IA, produisant un score de santé et un plan d'action priorisé.

OpenClawRadar
Visualiseur en ligne : Les modèles d'IA locaux peuvent désormais générer des visualisations HTML interactives
Tools

Visualiseur en ligne : Les modèles d'IA locaux peuvent désormais générer des visualisations HTML interactives

Inline Visualizer est un plugin sous licence BSD-3 pour Open WebUI qui permet à tout modèle d'IA local prenant en charge les appels d'outils de générer des visualisations HTML/SVG interactives directement dans le chat, avec un pont JavaScript permettant aux éléments d'envoyer des messages à l'IA.

OpenClawRadar
Utilisateur de Reddit teste la fonction d'auto-apprentissage de l'agent IA Hermes, découvre des failles critiques
Tools

Utilisateur de Reddit teste la fonction d'auto-apprentissage de l'agent IA Hermes, découvre des failles critiques

Un utilisateur de Reddit a testé la fonction d'auto-apprentissage de l'agent IA Hermes, qui crée automatiquement des compétences à partir de fichiers markdown. L'utilisateur a constaté qu'il évalue toujours ses propres résultats comme réussis, même lorsque la sortie est incorrecte, et qu'il écrase les modifications manuelles.

OpenClawRadar