Résultats de référence : Approches GitHub CLI vs MCP pour les agents IA

Résultats du benchmark : GitHub CLI vs approches MCP

Un utilisateur de Reddit a mené une étude indépendante comparant différentes méthodes pour exposer les outils GitHub aux agents IA. Le benchmark a testé quatre approches : GitHub CLI, MCP (Model Context Protocol), MCP avec recherche d'outils et MCP avec mode code, en utilisant des données réelles et des tâches pratiques.

Principales conclusions

• GitHub MCP coûte 2 à 3 fois plus cher à utiliser que GitHub CLI. La source note qu'il n'y a "presque aucune raison pratique d'utiliser leur MCP, sauf pour certains aspects de la gestion de la sécurité".
• La recherche d'outils économise des tokens initialement mais les dépense en tours supplémentaires. Le bénéfice de ce compromis dépend de la complexité de la tâche. La recherche d'outils introduit également un nouveau mode d'échec dû à une précision de recherche imparfaite.
• Le mode code est la manière la moins chère d'utiliser MCP, mais reste 2 fois plus coûteux que CLI, et il est très lent. Le mode code introduit un mode d'échec unique lorsque l'agent écrit du code bogué ou une mauvaise gestion des erreurs.
• Le benchmark suggère qu'il est possible de pousser davantage les CLI vers des taux de réussite plus élevés au coût et à la latence les plus bas, avec une approche de conception rigoureuse qui traite l'ergonomie des agents comme une préoccupation de premier ordre.

Ressources open source

L'auteur a détaillé son approche sur https://axi.md et a ouvert le code du banc d'essai, des résultats et de l'implémentation de référence de gh-axi sur https://github.com/kunchenguid/axi.