PolyRange: Benchmark de IA Ofensiva Resistente a Contaminação com Alvos Gerados por LLM

PolyRange v1.0 é um benchmark ofensivo de IA para agentes de segurança web, resistente à contaminação e licenciado sob MIT. Em vez de alvos estáticos que vazam para corpora de treinamento, cada implantação do PolyRange é gerada fresca pela escolha do pesquisador de LLM — satisfazendo o critério de 'tarefas recém-construídas' que OpenAI, Anthropic e UK AISI pediram publicamente.

O que o PolyRange aborda

O autor, CEO da Aether AI, observa que os benchmarks cibernéticos de IA existentes se enquadram em duas categorias que não medem o que os laboratórios precisam: benchmarks estilo CTF (DVWA, NYU CTF Bench, CyberGym, AutoPenBench) usam alvos estáticos que contaminam modelos futuros, e benchmarks estilo bug bounty (XBOW) têm infraestrutura defensiva indefinida. O PolyRange preenche essa lacuna com condições de formato de produção, incluindo defensores ativos.

Especificações técnicas

• 84 classes derivadas do WSTG abrangendo todas as 12 categorias do guia de teste OWASP
• Duas camadas de defesa aproximando condições de defensor ativo
• Backends reais: dialetos Postgres, PHP real para LFI, shell real para injeção de comando, Jinja2 real para SSTI
• Convenção oracle agente-submete-flag para pontuação
• CLI de avaliação com comando único
• Auto-hospedável no Fly.io ou qualquer host Docker

Como os alvos são regenerados a cada execução via LLM (modelo gerador de escolha do pesquisador), não há artefato estático para modelos futuros ingerirem — abordando a preocupação da Anthropic de que 'este relatório, em si, provavelmente contribuirá para o problema.'

O benchmark usa um enquadramento de entropia de dois baldes separando eixos de recall de exploração de eixos cosméticos/realismo, que o autor acredita ser excessivamente amalgamado na literatura de benchmarks adjacente.

O financiamento para um artigo empírico completo (com resultados publicáveis-N) depende de parceria, mas o framework já está disponível.