벤치마크 결과: AI 에이전트를 위한 GitHub CLI 대 MCP 접근 방식

벤치마크 결과: GitHub CLI 대 MCP 접근 방식

Reddit 사용자가 AI 에이전트에 GitHub 도구를 노출하는 다양한 방법을 비교하는 독립 연구를 수행했습니다. 이 벤치마크는 실제 데이터와 실용적인 작업을 사용하여 네 가지 접근 방식(GitHub CLI, MCP(모델 컨텍스트 프로토콜), 도구 검색 기능이 있는 MCP, 코드 모드가 있는 MCP)을 테스트했습니다.

주요 결과

• GitHub MCP는 GitHub CLI보다 사용 비용이 2~3배 더 비쌉니다. 출처에서는 "보안 처리 방식의 일부 차이를 제외하고는 MCP를 사용할 실질적인 이유가 거의 없다"고 언급합니다.
• 도구 검색은 초기 토큰을 절약하지만 추가 턴에 토큰을 소비합니다. 이 트레이드오프가 가치가 있는지는 작업 복잡성에 따라 다릅니다. 도구 검색은 또한 불완전한 검색 정확도로 인해 새로운 실패 모드를 도입합니다.
• 코드 모드는 MCP를 사용하는 가장 저렴한 방법이지만 여전히 CLI보다 2배 더 비싸고 매우 느립니다. 코드 모드는 에이전트가 버그가 있는 코드를 작성하거나 불충분한 오류 처리를 할 때 고유한 실패 모드를 도입합니다.
• 벤치마크는 에이전트 사용 편의성을 최우선 고려사항으로 삼는 원칙적인 설계 접근 방식으로 CLI를 더욱 발전시켜 최저 비용과 지연 시간으로 더 높은 성공률을 달성할 수 있음을 시사합니다.

오픈소스 리소스

저자는 https://axi.md에서 자세한 접근 방식을 설명하고, 벤치마크 하네스, 결과, gh-axi의 참조 구현을 https://github.com/kunchenguid/axi에서 오픈소스로 공개했습니다.