Resultados de Benchmark: CLI do GitHub vs Abordagens MCP para Agentes de IA

Resultados do Benchmark: GitHub CLI vs Abordagens MCP

Um usuário do Reddit conduziu um estudo independente comparando diferentes métodos para expor ferramentas do GitHub a agentes de IA. O benchmark testou quatro abordagens: GitHub CLI, MCP (Protocolo de Contexto do Modelo), MCP com Busca de Ferramentas e MCP com Modo Código, usando dados reais e tarefas práticas.

Principais Descobertas

• GitHub MCP é 2–3 vezes mais caro de usar do que GitHub CLI. A fonte observa que "quase não há razão prática para usar seu MCP, exceto por alguns dos diferentes tratamentos de segurança".
• A Busca de Ferramentas economiza tokens iniciais, mas os gasta em rodadas extras. Se essa compensação vale a pena depende da complexidade da tarefa. A Busca de Ferramentas também introduz um novo modo de falha devido à precisão imperfeita da busca.
• O Modo Código é a maneira mais barata de usar MCP, mas ainda é 2 vezes mais caro que CLI, e é muito lento. O Modo Código introduz um modo de falha único quando o agente escreve código com bugs ou tratamento de erros inadequado.
• O benchmark sugere que é possível levar CLIs ainda mais longe em direção a taxas de sucesso mais altas com menor custo e latência, com uma abordagem de design fundamentada que trata a ergonomia do agente como uma preocupação de primeira classe.

Recursos de Código Aberto

O autor detalhou sua abordagem em https://axi.md e disponibilizou como código aberto o conjunto de testes do benchmark, resultados e implementação de referência do gh-axi em https://github.com/kunchenguid/axi.