SWE-CI: Novos Testes de Referência Avaliam Agentes de IA na Manutenção de Código de Longo Prazo via CI

O que o SWE-CI Realmente Faz

O SWE-CI é o primeiro benchmark em nível de repositório construído sobre o ciclo de Integração Contínua. Ele visa mudar o paradigma de avaliação para geração de código da correção funcional estática e de curto prazo para a manutenibilidade dinâmica e de longo prazo.

Detalhes Principais do Artigo

O benchmark compreende 100 tarefas, cada uma correspondendo em média a:

• Histórico de evolução abrangendo 233 dias
• 71 commits consecutivos em um repositório de código do mundo real

O SWE-CI exige que os agentes resolvam sistematicamente essas tarefas através de dezenas de rodadas de análise e iterações de codificação. Isso aborda uma lacuna nos métodos de avaliação atuais: enquanto agentes baseados em LLM demonstraram fortes capacidades na automação de tarefas de engenharia de software, como correção estática de bugs (como mostrado por benchmarks como o SWE-bench), o desenvolvimento do mundo real envolve mudanças complexas de requisitos e iterações de recursos de longo prazo que os paradigmas de reparo estático e único não conseguem capturar.

O artigo observa especificamente que o SWE-CI fornece insights valiosos sobre o quão bem os agentes podem sustentar a qualidade do código ao longo da evolução de longo prazo. Isso vai além da simples correção de bugs para avaliar como os agentes lidam com a natureza iterativa do desenvolvimento de software real.

Contexto Técnico

Esse tipo de benchmark é significativo porque a maioria das avaliações atuais de agentes de codificação com IA se concentra em correções únicas ou problemas de codificação isolados. A abordagem baseada em CI do SWE-CI reflete melhor como o desenvolvimento realmente acontece em projetos de software maduros, onde as mudanças se acumulam ao longo do tempo e devem manter compatibilidade com os sistemas existentes.

Para desenvolvedores que usam agentes de codificação com IA, esse benchmark pode ajudar a identificar quais agentes são mais adequados para a manutenção de projetos de longo prazo versus correções rápidas. A natureza multi-rodada e iterativa das tarefas testa persistência e consistência - qualidades que importam ao integrar assistência de IA em fluxos de trabalho de desenvolvimento em andamento.