PolyRange: Benchmark de IA Ofensiva Resistente a Contaminação com Alvos Gerados por LLM
PolyRange v1.0 é um benchmark ofensivo de IA para agentes de segurança web, resistente à contaminação e licenciado sob MIT. Em vez de alvos estáticos que vazam para corpora de treinamento, cada implantação do PolyRange é gerada fresca pela escolha do pesquisador de LLM — satisfazendo o critério de 'tarefas recém-construídas' que OpenAI, Anthropic e UK AISI pediram publicamente.
O que o PolyRange aborda
O autor, CEO da Aether AI, observa que os benchmarks cibernéticos de IA existentes se enquadram em duas categorias que não medem o que os laboratórios precisam: benchmarks estilo CTF (DVWA, NYU CTF Bench, CyberGym, AutoPenBench) usam alvos estáticos que contaminam modelos futuros, e benchmarks estilo bug bounty (XBOW) têm infraestrutura defensiva indefinida. O PolyRange preenche essa lacuna com condições de formato de produção, incluindo defensores ativos.
Especificações técnicas
- 84 classes derivadas do WSTG abrangendo todas as 12 categorias do guia de teste OWASP
- Duas camadas de defesa aproximando condições de defensor ativo
- Backends reais: dialetos Postgres, PHP real para LFI, shell real para injeção de comando, Jinja2 real para SSTI
- Convenção oracle agente-submete-flag para pontuação
- CLI de avaliação com comando único
- Auto-hospedável no Fly.io ou qualquer host Docker
Como os alvos são regenerados a cada execução via LLM (modelo gerador de escolha do pesquisador), não há artefato estático para modelos futuros ingerirem — abordando a preocupação da Anthropic de que 'este relatório, em si, provavelmente contribuirá para o problema.'
O benchmark usa um enquadramento de entropia de dois baldes separando eixos de recall de exploração de eixos cosméticos/realismo, que o autor acredita ser excessivamente amalgamado na literatura de benchmarks adjacente.
O financiamento para um artigo empírico completo (com resultados publicáveis-N) depende de parceria, mas o framework já está disponível.
📖 Leia a fonte completa: r/LocalLLaMA
👀 See Also
Ward: Ferramenta de código aberto intercepta instalações do npm para bloquear ataques à cadeia de suprimentos para usuários do Claude Code
Ward é uma ferramenta de código aberto que se integra aos gerenciadores de pacotes para verificar cada pacote antes da execução dos scripts de instalação. Quando o Claude Code executa npm install, o Ward automaticamente verifica os pacotes em busca de malware, typosquats, scripts suspeitos e anomalias de versão.
Título do artigo: Exploração Assistida por LLM: Prévia do Mythos da Anthropic Ajudou a Construir o Primeiro Exploit Público do Kernel do macOS no Apple M5 em Cinco Dias
Usando o Mythos Preview da Anthropic, a empresa de segurança Calif construiu o primeiro exploit público de corrupção de memória do kernel macOS no silício M5 da Apple em cinco dias—quebrando a segurança de hardware MIE que levou cinco anos para a Apple desenvolver.
Ferramentas de IA de Código Aberto Apresentam Riscos de Segurança Devido à 'Segurança Ilusória Através da Transparência'
Uma postagem no Reddit alerta sobre malware disfarçado como agentes e ferramentas de IA de código aberto, onde código malicioso pode estar escondido em grandes bases de código que os usuários assumem ser seguras porque estão no GitHub. A postagem descreve como o 'vibe-coding' e os agentes de IA autônomos condicionam os usuários a executar programas desconhecidos sem revisão.
Gerenciamento de cluster OpenClaw: mantenha o caminho de recuperação fora do cluster
Uma topologia mais segura para clusters gerenciados pelo OpenClaw: execute o Gateway e o estado das tarefas fora, use acesso somente leitura e conduza mudanças via PRs + CI + merge aprovado por humano no Argo CD.