Résultats de Benchmark : 15 LLM Testés sur 38 Tâches de Flux de Travail Réelles
Un développeur a créé un banc d'essai pour déterminer vers quels LLMs router le travail, en testant 15 modèles sur 38 tâches issues de son flux de travail réel. Les tâches incluaient des transformations CSV, des comptages de lettres, de l'arithmétique modulaire, de la conformité de format et des instructions en plusieurs étapes. Toutes les tâches ont été notées de manière programmatique à l'aide d'expressions régulières et de correspondances exactes — aucun juge LLM n'a été impliqué.
Résultats du benchmark
Le benchmark a impliqué 570 appels API coûtant 2,29 $ au total. Principales conclusions :
- Claude 3.5 Opus : score de 100 %, 0,69 $ par exécution, 14,2 secondes
- Claude 3.5 Sonnet : score de 100 %, 0,20 $ par exécution, 5,1 secondes
- MiniMax M2.5 : score de 98,60 %, 0,02 $ par exécution, 2,3 secondes
- Kimi K2.5 : score de 98,60 %, 0,05 $ par exécution, 3,8 secondes
- GPT-oss-20b (local) : score de 98,30 %, 0 $ par exécution, 4,1 secondes
- Gemini 2.5 Flash : score de 97,10 %, 0,00 $ par exécution, 1,1 seconde
- Claude 3.5 Haiku : score de 96,90 %, 0,02 $ par exécution, 1,8 seconde
Analyse coût-performance
Sonnet et Opus ont tous deux obtenu 100 %, mais Opus coûte 3,5 fois plus par appel. Pour les tâches quotidiennes du développeur, Sonnet gère tout ce qu'Opus fait. Gemini Flash à 0,003 $ par exécution contre Opus à 0,69 $ représente une différence de coût de 265 fois pour un écart de performance de 2,9 points.
Découvertes surprenantes
MiniMax M2.5 et Kimi K2.5 ont tous deux atteint 98,6 % avec une conformité de format de 100 % — le développeur n'avait utilisé aucun de ces modèles avant de lancer le benchmark. GPT-oss-20b fonctionnant localement a obtenu 98,3 % pour 0 $, surpassant Haiku et DeepSeek R1.
Processus d'assurance qualité
Le processus d'assurance qualité a révélé des bugs de notation. Les résultats initiaux montraient Haiku battant Sonnet, ce qui s'est avéré être un bug du système de notation produisant des scores de qualité supérieurs à 100 %. Cinq passes d'assurance qualité ont été réalisées, chacune avec un modèle différent, et chacune a trouvé des bugs que les précédentes avaient manqués.
Le développeur change son outil principal pour Sonnet sur la base de ces résultats, mais prévoit de basculer plus fréquemment entre les modèles compte tenu des variations de performance.
📖 Read the full source: r/ClaudeAI
👀 See Also
Configurations éphémères d'OpenClaw avec sandboxing réseau et démantèlement automatique
Une configuration qui démarre OpenClaw dans une VM éphémère avec une liste d'autorisation de sortie réseau, injecte des clés API dans un stockage en mémoire vive et inclut un arrêt automatique après 2 heures. Tous les appels LLM sont enregistrés dans SQLite pour relecture.
Compétence d'Audit SEO OpenClaw Lancée pour l'Analyse Technique de Sites Web
Une nouvelle compétence OpenClaw effectue des audits SEO complets avec la commande 'seo audit [url]', vérifiant le SEO technique, la qualité du contenu, les éléments on-page, les données structurées, les métriques de performance, les images et la préparation à la recherche IA, produisant un score de santé et un plan d'action priorisé.
Visualiseur en ligne : Les modèles d'IA locaux peuvent désormais générer des visualisations HTML interactives
Inline Visualizer est un plugin sous licence BSD-3 pour Open WebUI qui permet à tout modèle d'IA local prenant en charge les appels d'outils de générer des visualisations HTML/SVG interactives directement dans le chat, avec un pont JavaScript permettant aux éléments d'envoyer des messages à l'IA.
Utilisateur de Reddit teste la fonction d'auto-apprentissage de l'agent IA Hermes, découvre des failles critiques
Un utilisateur de Reddit a testé la fonction d'auto-apprentissage de l'agent IA Hermes, qui crée automatiquement des compétences à partir de fichiers markdown. L'utilisateur a constaté qu'il évalue toujours ses propres résultats comme réussis, même lorsque la sortie est incorrecte, et qu'il écrase les modifications manuelles.