Codeset melhora os agentes de codificação com contexto específico do repositório a partir do histórico do git.

O que o Codeset faz

O Codeset executa um pipeline sobre o seu histórico do git e gera arquivos que ficam diretamente no seu repositório. Esses arquivos incluem: bugs anteriores por arquivo com causas raiz, armadilhas conhecidas, relações de co-mudança e listas de verificação de testes. O agente de programação lê esses arquivos como parte de sua janela de contexto normal. Sem RAG, sem banco de dados vetorial no momento da consulta, sem infraestrutura de tempo de execução necessária—apenas arquivos estáticos que seu agente pega como qualquer outro arquivo no repositório.

Resultados de benchmark

A equipe testou o Codeset com dois benchmarks:

• codeset-gym-python (150 tarefas, mesmo subconjunto da avaliação do Claude): 60,7% → 66% (+5,3 pontos percentuais)
• SWE-Bench Pro (400 tarefas amostradas aleatoriamente): 56,5% → 58,5% (+2 pontos percentuais)

Isso mostra uma melhoria consistente em ambos os benchmarks, com ganhos menores no SWE-Bench Pro em comparação com o codeset-gym. O benchmark codeset-gym é público com lista completa de tarefas e verificadores disponíveis para verificação da metodologia.

Preços e disponibilidade

O Codeset custa US$ 5 por repositório, pagamento único. Use o código CODESETLAUNCH para um teste gratuito. Os artefatos completos de avaliação estão disponíveis em https://github.com/codeset-ai/codeset-release-evals.