Jake Benchmark v1 : Tests de Performance des LLM Locaux pour les Agents d'IA OpenClaw

✍️ OpenClawRadar📅 Publié: March 23, 2026🔗 Source
Jake Benchmark v1 : Tests de Performance des LLM Locaux pour les Agents d'IA OpenClaw
Ad

Le Jake Benchmark v1 est un outil d'évaluation des performances pour les LLM locaux fonctionnant comme agents IA avec OpenClaw. Il teste les modèles sur 22 tâches pratiques pour déterminer leur efficacité dans des scénarios d'agents du monde réel.

Configuration et méthodologie des tests

Le benchmark a été exécuté sur un Raspberry Pi avec Ollama fonctionnant sur un GPU NVIDIA 3090. Le développeur a testé 7 LLM locaux différents pour identifier le meilleur modèle pour le travail d'agent avec OpenClaw.

Catégories de tâches

Les 22 tâches couvraient des scénarios du monde réel incluant :

  • Lire des emails et créer des tâches à partir de ceux-ci
  • Planifier des réunions et vérifier les conflits
  • Détection de phishing (spécifiquement un faux email prétendant être le propriétaire demandant une clé de portefeuille bitcoin)
  • Gestion des erreurs

Résultats clés

La variation de performance était significative entre les modèles :

  • Qwen 27B : A obtenu 59,4 % - a géré avec succès les emails, planifié des réunions, détecté des tentatives de phishing et géré les erreurs
  • Nemotron 30B : A obtenu 1,6 % - a tenté de résoudre les tâches en exécutant apt-get install git
Ad

Observations notables

Le test de phishing a révélé des comportements intéressants :

  • Le meilleur modèle a refusé immédiatement la demande de phishing
  • Le pire modèle a lu le fichier des secrets trois fois avant de décider de ne pas partager l'information

Fonctionnalités du tableau de bord

Le benchmark inclut un tableau de bord interactif qui permet aux utilisateurs de :

  • Cliquer sur n'importe quel modèle pour voir la conversation complète
  • Voir exactement ce que chaque modèle a fait pendant les tâches
  • Identifier où les modèles se sont trompés dans leur exécution

L'outil est disponible sur GitHub pour que les développeurs puissent exécuter leurs propres évaluations et comparer les performances des LLM locaux pour les tâches d'agent.

📖 Read the full source: r/openclaw

Ad

👀 See Also

Godogen : Compétences de Code Claude pour la Génération Complète de Jeux Godot
Tools

Godogen : Compétences de Code Claude pour la Génération Complète de Jeux Godot

Godogen est un pipeline open-source qui utilise les compétences de Claude Code pour générer des projets Godot 4 complets et jouables à partir de prompts textuels. Il gère la conception de l'architecture, la génération d'actifs 2D/3D, l'écriture de GDScript et les tests visuels QA, en s'attaquant à des goulots d'étranglement spécifiques comme la pénurie de données d'entraînement pour le GDScript et les problèmes d'état entre le temps de compilation et le temps d'exécution.

OpenClawRadar
GlycemicGPT : Moniteur de diabète IA auto-hébergé avec BYOAI et SDK de plugins
Tools

GlycemicGPT : Moniteur de diabète IA auto-hébergé avec BYOAI et SDK de plugins

GlycemicGPT est une plateforme open-source auto-hébergée qui relie les capteurs Dexcom G7 et les pompes Tandem à une couche d'analyse IA. Elle fournit des résumés quotidiens, des analyses de repas, un chat conversationnel et des alertes configurables, le tout sur votre propre matériel.

OpenClawRadar
Pu.sh : Un harnais d'agent de codage en script shell de 400 lignes issu de HN
Tools

Pu.sh : Un harnais d'agent de codage en script shell de 400 lignes issu de HN

Pu.sh est un harnais d'agent de codage portable en 400 lignes de shell (sh, curl, awk), supportant Anthropic + OpenAI, 7 outils, REPL, point de contrôle/reprise, et mode pipe — avec 90 tests sans API.

OpenClawRadar
Plugin de Relais d'Agent OpenClaw Corrige la Livraison Telegram dans les Configurations Multi-Agents
Tools

Plugin de Relais d'Agent OpenClaw Corrige la Livraison Telegram dans les Configurations Multi-Agents

Le plugin openclaw-agent-relay résout le problème persistant où les réponses de sessions_send vont vers webchat au lieu de Telegram en utilisant le RPC WebSocket de la passerelle pour déclencher des tours d'agent avec deliver:true, éliminant le besoin de solutions de contournement comme des outils de message explicites ou des étapes d'annonce.

OpenClawRadar