PolyRange : Benchmark offensif résistant à la contamination par IA avec cibles générées par LLM
PolyRange v1.0 est un benchmark d'IA offensive pour agents de sécurité web, sous licence MIT et résistant à la contamination. Contrairement aux cibles statiques qui s'infiltrent dans les corpus d'entraînement, chaque déploiement de PolyRange est fraîchement généré par le LLM choisi par le chercheur — répondant ainsi au critère de « tâches nouvellement construites » qu'OpenAI, Anthropic et l'AISI britannique ont publiquement réclamé.
Ce que PolyRange résout
L'auteur, PDG d'Aether AI, note que les benchmarks cyber-IA existants se répartissent en deux catégories qui ne mesurent pas ce dont les laboratoires ont besoin : les benchmarks de type CTF (DVWA, NYU CTF Bench, CyberGym, AutoPenBench) utilisent des cibles statiques qui contaminent les futurs modèles, et les benchmarks de type bug bounty (XBOW) ont une infrastructure défensive non définie. PolyRange comble cette lacune avec des conditions proches de la production, incluant des défenseurs actifs.
Spécifications techniques
- 84 classes dérivées du WSTG couvrant les 12 catégories du guide de test OWASP
- Deux niveaux de défense simulant des conditions de défense active
- Vrais backends : dialectes Postgres, vrai PHP pour LFI, vrai shell pour l'injection de commandes, vrai Jinja2 pour SSTI
- Convention oracle agent-soumet-flag pour le scoring
- CLI d'évaluation en une commande
- Auto-hébergeable sur Fly.io ou tout hôte Docker
Comme les cibles sont régénérées à chaque exécution via LLM (modèle générateur au choix du chercheur), il n'y a aucun artefact statique que les futurs modèles pourraient ingérer — répondant ainsi à la préoccupation d'Anthropic selon laquelle « ce rapport contribuera lui-même au problème ».
Le benchmark utilise un cadre d'entropie à deux compartiments séparant les axes de rappel d'exploitation des axes cosmétiques/réalistes, ce que l'auteur estime être trop confondu dans la littérature adjacente.
Le financement d'un article empirique complet (avec des résultats publiable-N) dépend d'un partenariat, mais le framework est disponible dès maintenant.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Google affirme que des hackers criminels ont utilisé l'IA pour trouver une vulnérabilité zero-day
Google a révélé que des attaquants ont utilisé un agent d'IA pour découvrir et exploiter une faille logicielle jusqu'alors inconnue, marquant le premier cas confirmé de découverte de zero-day pilotée par l'IA dans la nature.
Préoccupations concernant la confidentialité dans OpenClaw : Compétences, SOUL MD et communication entre agents
Un développeur soulève des préoccupations concernant la confidentialité dans l'architecture d'OpenClaw, notamment concernant l'accès illimité des compétences aux données sensibles, la nature modifiable du SOUL MD et le partage d'informations par les agents sans filtres.
openclaw-credential-vault traite quatre voies de fuite d'identifiants dans les agents IA
openclaw-credential-vault offre une isolation au niveau du système d'exploitation et une injection d'identifiants limitée aux sous-processus pour prévenir quatre voies d'exposition courantes des identifiants dans les configurations OpenClaw. Il inclut un nettoyage de sortie à quatre crochets et fonctionne avec n'importe quel outil CLI ou API.
Les applications construites par IA sont fragiles : pourquoi les petits changements brisent l'isolement des données et les autorisations
Des développeurs signalent que les applications générées par IA (via Claude Code, Cursor) cassent silencieusement la connexion, les autorisations et l'isolation des données lors de petites modifications, car les modèles d'IA ne comprennent pas l'intention originale du système comme les règles de propriété.