PolyRange : Benchmark offensif résistant à la contamination par IA avec cibles générées par LLM

PolyRange v1.0 est un benchmark d'IA offensive pour agents de sécurité web, sous licence MIT et résistant à la contamination. Contrairement aux cibles statiques qui s'infiltrent dans les corpus d'entraînement, chaque déploiement de PolyRange est fraîchement généré par le LLM choisi par le chercheur — répondant ainsi au critère de « tâches nouvellement construites » qu'OpenAI, Anthropic et l'AISI britannique ont publiquement réclamé.

Ce que PolyRange résout

L'auteur, PDG d'Aether AI, note que les benchmarks cyber-IA existants se répartissent en deux catégories qui ne mesurent pas ce dont les laboratoires ont besoin : les benchmarks de type CTF (DVWA, NYU CTF Bench, CyberGym, AutoPenBench) utilisent des cibles statiques qui contaminent les futurs modèles, et les benchmarks de type bug bounty (XBOW) ont une infrastructure défensive non définie. PolyRange comble cette lacune avec des conditions proches de la production, incluant des défenseurs actifs.

Spécifications techniques

• 84 classes dérivées du WSTG couvrant les 12 catégories du guide de test OWASP
• Deux niveaux de défense simulant des conditions de défense active
• Vrais backends : dialectes Postgres, vrai PHP pour LFI, vrai shell pour l'injection de commandes, vrai Jinja2 pour SSTI
• Convention oracle agent-soumet-flag pour le scoring
• CLI d'évaluation en une commande
• Auto-hébergeable sur Fly.io ou tout hôte Docker

Comme les cibles sont régénérées à chaque exécution via LLM (modèle générateur au choix du chercheur), il n'y a aucun artefact statique que les futurs modèles pourraient ingérer — répondant ainsi à la préoccupation d'Anthropic selon laquelle « ce rapport contribuera lui-même au problème ».

Le benchmark utilise un cadre d'entropie à deux compartiments séparant les axes de rappel d'exploitation des axes cosmétiques/réalistes, ce que l'auteur estime être trop confondu dans la littérature adjacente.

Le financement d'un article empirique complet (avec des résultats publiable-N) dépend d'un partenariat, mais le framework est disponible dès maintenant.