Результаты тестирования: подходы GitHub CLI и MCP для ИИ-агентов

Результаты бенчмарка: GitHub CLI против подходов MCP

Пользователь Reddit провёл независимое исследование, сравнивающее различные методы предоставления инструментов GitHub ИИ-агентам. Бенчмарк протестировал четыре подхода: GitHub CLI, MCP (Model Context Protocol), MCP с поиском инструментов и MCP с режимом кода, используя реальные данные и практические задачи.

Ключевые выводы

• GitHub MCP обходится в 2–3 раза дороже, чем GitHub CLI. В источнике отмечается, что «практически нет причин использовать их MCP, за исключением некоторых особенностей обработки безопасности».
• Поиск инструментов экономит начальные токены, но тратит их на дополнительные шаги. Оправдывает ли этот компромисс себя, зависит от сложности задачи. Поиск инструментов также вводит новый тип сбоя из-за неидеальной точности поиска.
• Режим кода — самый дешёвый способ использования MCP, но всё же в 2 раза дороже, чем CLI, и он очень медленный. Режим кода вводит уникальный тип сбоя, когда агент пишет код с ошибками или плохо обрабатывает исключения.
• Бенчмарк предполагает, что можно продвинуть CLI дальше в сторону более высоких показателей успеха при наименьшей стоимости и задержках, используя принципиальный подход к проектированию, который рассматривает эргономику агента как первостепенную задачу.

Ресурсы с открытым исходным кодом

Автор подробно описал свой подход на https://axi.md и открыл исходный код инфраструктуры для бенчмарков, результатов и эталонной реализации gh-axi на https://github.com/kunchenguid/axi.