ベンチマーク結果：AIエージェントにおけるGitHub CLIとMCPアプローチの比較

ベンチマーク結果：GitHub CLI vs MCPアプローチ

Redditユーザーが、AIエージェントにGitHubツールを公開するさまざまな方法を比較する独立した調査を実施しました。このベンチマークでは、実際のデータと実用的なタスクを使用して、GitHub CLI、MCP（Model Context Protocol）、MCP with Tool Search、MCP with Code Modeの4つのアプローチをテストしました。

主な発見

• GitHub MCPはGitHub CLIよりも2〜3倍高価です。情報源によると、「セキュリティの異なる扱いを除けば、実用的な理由でMCPを使用することはほとんどない」とされています。
• Tool Searchは初期トークンを節約するが、追加のターンで消費します。このトレードオフが報われるかどうかは、タスクの複雑さに依存します。Tool Searchはまた、検索精度が完璧でないことによる新たな失敗モードを導入します。
• Code ModeはMCPを使用する最も安価な方法ですが、それでもCLIの2倍のコストがかかり、非常に遅いです。Code Modeは、エージェントがバグのあるコードや不十分なエラー処理を書いた場合に特有の失敗モードを導入します。
• ベンチマークは、エージェントの使いやすさを最優先事項とする原則に基づいた設計アプローチにより、CLIをさらに低コスト・低レイテンシで高い成功率に向けて推進することが可能であることを示唆しています。

オープンソースリソース

著者は、https://axi.md で詳細なアプローチを説明し、ベンチマークハーネス、結果、gh-axiのリファレンス実装を https://github.com/kunchenguid/axi でオープンソース化しています。