Matrice LLM : Comparaisons de modèles votées par la communauté, construites avec Claude Code
Un développeur a créé LLM Matrix, un site web qui permet aux utilisateurs de parcourir et de voter sur les grands modèles de langage selon plusieurs dimensions. L'outil répond aux préoccupations concernant les sites de référence centralisés en mettant en œuvre des classements pilotés par la communauté.
Ce que fait LLM Matrix
- Parcourir les scores des LLM sur 2 à N dimensions simultanément
- Les utilisateurs votent sur les modèles, et ces votes façonnent les classements
- Données initiales alimentées avec seulement 20 votes par modèle basés sur des scores agrégés provenant de sources publiques sur Internet
- Les votes restants et les classements déterminés par les contributions de la communauté
Détails du développement
L'ensemble du projet a été construit en utilisant Claude Code. Le développeur a spécifiquement mentionné deux plugins qui ont été essentiels au développement :
- plugin de qualité production :
https://github.com/nagisanzenin/claude-code-production-grade-plugin - plugin claude-mem :
https://github.com/thedotmack/claude-mem
Le site est actuellement hébergé à llm-matrix.vercel.app et représente une approche alternative de l'évaluation des LLM qui privilégie le consensus communautaire par rapport aux métriques centralisées potentiellement biaisées.
📖 Lire la source complète : r/ClaudeAI
👀 See Also
Tableau de bord local suit l'utilisation de Claude Code avec les coûts en tokens, les appels d'outils et les analyses de session.
Un développeur a créé un tableau de bord local qui lit les fichiers de session JSONL de Claude Code pour visualiser l'utilisation des tokens, les coûts estimés, la répartition des appels d'outils et l'historique des sessions. L'outil fonctionne entièrement sur votre machine avec une API Express et un tableau de bord React.
Microsoft Teams SDK ajoute un adaptateur de serveur HTTP pour les agents IA existants
Le SDK Microsoft Teams inclut désormais un adaptateur de serveur HTTP qui permet aux développeurs de connecter leurs agents d'IA existants à Teams sans réécrire leur code. Il fonctionne avec les chaînes LangChain, les bots Slack et les déploiements Azure Foundry en injectant un point de terminaison POST /api/messages dans les serveurs Express existants.
Airbyte Agents : Une couche de contexte pré-indexée pour les agents IA vs MCPs d'API brutes
Airbyte lance Airbyte Agents, une couche de contexte qui pré-indexe les données des systèmes opérationnels (Slack, Salesforce, Linear, Zendesk, Gong) pour réduire la consommation de jetons des agents jusqu'à 90% par rapport aux MCPs des fournisseurs directs.
Création d'un RAG agentic pour Obsidian avec Claude et d'un harnais d'évaluation pour détecter les hallucinations
Un développeur a construit un système RAG agentique sur un coffre Obsidian pour permettre à Claude de répondre à des questions issues de livres d'ingénierie, puis a créé un harnais d'évaluation utilisant Claude Sonnet comme juge pour détecter quand l'agent avait tort avec assurance. Des itérations de la grille d'évaluation ont amélioré l'accord juge-humain de 39 % à 94 %.