Benchmark mostra que o mecanismo de contexto reduz custos de agentes de IA para codificação em 3x no SWE-bench

✍️ OpenClawRadar📅 Publicado: March 23, 2026🔗 Source
Benchmark mostra que o mecanismo de contexto reduz custos de agentes de IA para codificação em 3x no SWE-bench
Ad

Um desenvolvedor avaliou quatro agentes de IA para codificação no SWE-bench Verified usando o mesmo modelo Claude Opus 4.5, com o gerenciamento de contexto como única variável. Os resultados mostram diferenças significativas de custo para níveis de desempenho similares.

Configuração do benchmark

O teste usou um subconjunto estratificado de 100 tarefas do SWE-bench Verified com todos os 12 repositórios representados proporcionalmente. Todos os agentes executaram Claude Opus 4.5 com o mesmo orçamento de $3/tarefa e limite de 250 interações. A única diferença foi a camada de contexto em frente ao modelo.

Resultados

  • Mecanismo de contexto + Claude Code: 73,0% Pass@1, $0,67/tarefa
  • Live-SWE-Agent: 72,0% Pass@1, $0,86/tarefa
  • OpenHands: 70,0% Pass@1, $1,77/tarefa
  • Sonar Foundation: 70,0% Pass@1, $1,98/tarefa

A configuração mais cara custa 3x mais por tarefa para uma taxa de resolução inferior. Oito tarefas foram resolvidas apenas pela configuração com a camada de contexto - bugs que o modelo não conseguiu corrigir sem ver o código correto.

Limitações

No matplotlib (código com renderização intensa e saída visual), o mecanismo de contexto obteve 43% enquanto o Sonar Foundation alcançou 86%. O contexto baseado em grafos é menos eficaz quando o código relevante não segue cadeias de dependência.

Ad

Como a camada de contexto funciona

Em vez de permitir que o Claude leia arquivos inteiros, ela pré-indexa a base de código em um grafo de dependência usando tree-sitter + SQLite (30 linguagens suportadas) e retorna uma cápsula de contexto classificada: código-fonte completo para funções importantes, assinaturas esqueletizadas para tudo conectado a elas. O agente começa cada tarefa já sabendo o que é relevante.

Inclui memória de sessão que persiste entre sessões via MCP. Quando o código muda, observações anteriores são marcadas como desatualizadas automaticamente, para que o agente não re-explore as mesmas coisas.

O sistema é 100% local sem nuvem, sem conta e sem código saindo da sua máquina. Funciona com Claude Code e 11 outros agentes via MCP.

Disponibilidade de código aberto

A estrutura de benchmark, todos os logs de avaliação, resultados por instância e scripts de comparação estão disponíveis no GitHub em github.com/Vexp-ai/vexp-swe-bench. A ferramenta em si está disponível em vexp.dev com um nível gratuito, extensão VS Code ou CLI. Resultados completos do benchmark com gráficos estão em vexp.dev/benchmark.

📖 Read the full source: r/ClaudeAI

Ad

👀 See Also

SWE-rebench-V2 Lançado: Maior Conjunto de Dados Multilíngue Aberto para Treinamento de Agentes de Código
Tools

SWE-rebench-V2 Lançado: Maior Conjunto de Dados Multilíngue Aberto para Treinamento de Agentes de Código

A Nebius lançou o SWE-rebench-V2, atualmente o maior conjunto de dados aberto para treinar agentes de codificação, apresentando um pipeline automatizado para extrair ambientes de RL em escala e projetado especificamente para treinamento de aprendizado por reforço em grande escala.

OpenClawRadar
Claude IDE Bridge: Ferramenta WebSocket para Acesso em Tempo Real à IDE
Tools

Claude IDE Bridge: Ferramenta WebSocket para Acesso em Tempo Real à IDE

claude-ide-bridge é uma ponte WebSocket que conecta o Claude Code diretamente ao estado interno da IDE, permitindo diagnósticos em tempo real, ir para definição, encontrar referências, passar o mouse sobre tipos, abrir arquivos, gerenciar pontos de interrupção e transmitir o estado do depurador.

OpenClawRadar
Estrutura Agente Jork Desenvolvida com Claude Alcança o Top 10 em Hackathon de US$ 4 Milhões
Tools

Estrutura Agente Jork Desenvolvida com Claude Alcança o Top 10 em Hackathon de US$ 4 Milhões

Um desenvolvedor criou um framework agentico chamado Jork usando os modelos Claude e GLM, que ficou entre os 10 primeiros entre mais de 2000 aplicações em um hackathon de US$ 4 milhões. O framework desenvolveu autonomamente ferramentas incluindo um radar de launchpad da Solana e um jogo funcional de caça-palavras.

OpenClawRadar
Orkestra: Camada de Roteamento de LLM com Consciência de Custos para OpenClaw Reduz Custos de API em 60-80%
Tools

Orkestra: Camada de Roteamento de LLM com Consciência de Custos para OpenClaw Reduz Custos de API em 60-80%

Orkestra é uma camada de roteamento modular que fica na frente das chamadas de LLM no OpenClaw, usando classificação semântica para direcionar prompts para níveis de modelo econômico, equilibrado ou premium. A abordagem reduziu os custos de API em 60-80% sem reescrita de prompts ou regras complexas.

OpenClawRadar