PolyRange : Benchmark offensif résistant à la contamination par IA avec cibles générées par LLM
PolyRange v1.0 est un benchmark d'IA offensive pour agents de sécurité web, sous licence MIT et résistant à la contamination. Contrairement aux cibles statiques qui s'infiltrent dans les corpus d'entraînement, chaque déploiement de PolyRange est fraîchement généré par le LLM choisi par le chercheur — répondant ainsi au critère de « tâches nouvellement construites » qu'OpenAI, Anthropic et l'AISI britannique ont publiquement réclamé.
Ce que PolyRange résout
L'auteur, PDG d'Aether AI, note que les benchmarks cyber-IA existants se répartissent en deux catégories qui ne mesurent pas ce dont les laboratoires ont besoin : les benchmarks de type CTF (DVWA, NYU CTF Bench, CyberGym, AutoPenBench) utilisent des cibles statiques qui contaminent les futurs modèles, et les benchmarks de type bug bounty (XBOW) ont une infrastructure défensive non définie. PolyRange comble cette lacune avec des conditions proches de la production, incluant des défenseurs actifs.
Spécifications techniques
- 84 classes dérivées du WSTG couvrant les 12 catégories du guide de test OWASP
- Deux niveaux de défense simulant des conditions de défense active
- Vrais backends : dialectes Postgres, vrai PHP pour LFI, vrai shell pour l'injection de commandes, vrai Jinja2 pour SSTI
- Convention oracle agent-soumet-flag pour le scoring
- CLI d'évaluation en une commande
- Auto-hébergeable sur Fly.io ou tout hôte Docker
Comme les cibles sont régénérées à chaque exécution via LLM (modèle générateur au choix du chercheur), il n'y a aucun artefact statique que les futurs modèles pourraient ingérer — répondant ainsi à la préoccupation d'Anthropic selon laquelle « ce rapport contribuera lui-même au problème ».
Le benchmark utilise un cadre d'entropie à deux compartiments séparant les axes de rappel d'exploitation des axes cosmétiques/réalistes, ce que l'auteur estime être trop confondu dans la littérature adjacente.
Le financement d'un article empirique complet (avec des résultats publiable-N) dépend d'un partenariat, mais le framework est disponible dès maintenant.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
L'Approche de Vitalik Buterin pour une Configuration Sécurisée de LLM Locale
Vitalik Buterin décrit sa configuration d'LLM souveraine axée sur l'inférence locale, le sandboxing et l'atténuation des risques de confidentialité comme les fuites de données et les jailbreaks.
La découverte des vulnérabilités de l'IA dépasse les délais de déploiement des correctifs.
Un expert en sécurité affirme que les outils d'IA comme Mythos détecteront les vulnérabilités plus rapidement que les correctifs ne pourront être déployés, citant les données Log4j montrant des délais moyens de correction de 17 jours et une élimination complète prévue sur une décennie.
Compromission de NPM via une porte dérobée dans Axios : impact sur les agents de codage IA
Le 31 mars 2026, un acteur de menace lié à la Corée du Nord a compromis npm en publiant des versions piégées d'Axios (1.14.1 et 0.30.4) pendant une fenêtre de 3 heures. Le logiciel malveillant injectait une dépendance qui téléchargeait un RAT spécifique à la plateforme, récoltait des identifiants et s'auto-effaçait, les agents de codage IA comme Claude Code et Cursor étant particulièrement vulnérables en raison des installations npm automatisées.
L'Approche Sécurité d'abord d'IronClaw pour la Sécurité des Agents IA
IronClaw aborde les préoccupations de sécurité des agents d'IA en mettant en œuvre une exécution contrainte, des environnements chiffrés et des permissions explicites plutôt que de s'appuyer sur l'intelligence des LLM pour un comportement sécurisé.