PolyRange: Benchmark Ofensivo de IA Resistente a la Contaminación con Objetivos Generados por LLM
PolyRange v1.0 es un benchmark de ofensiva de IA para agentes de seguridad web, con licencia MIT y resistente a la contaminación. A diferencia de los objetivos estáticos que se filtran en los corpus de entrenamiento, cada despliegue de PolyRange es generado de nuevo por el LLM que el investigador elija, cumpliendo con el criterio de 'tareas recién construidas' que OpenAI, Anthropic y UK AISI han solicitado públicamente.
Qué aborda PolyRange
El autor, CEO de Aether AI, señala que los benchmarks existentes de cibernética para IA se dividen en dos categorías que no miden lo que los laboratorios necesitan: los benchmarks estilo CTF (DVWA, NYU CTF Bench, CyberGym, AutoPenBench) utilizan objetivos estáticos que contaminan los modelos futuros, y los benchmarks estilo bug bounty (XBOW) tienen infraestructura defensiva indefinida. PolyRange cierra esta brecha con condiciones de producción, incluyendo defensores activos.
Especificaciones técnicas
- 84 clases derivadas de WSTG que abarcan las 12 categorías de la guía de pruebas de OWASP
- Dos niveles de defensa que aproximan condiciones de defensor activo
- Backends reales: dialectos de Postgres, PHP real para LFI, shell real para inyección de comandos, Jinja2 real para SSTI
- Convención de oráculo agente-envía-bandera para la puntuación
- CLI de evaluación con un solo comando
- Autohospedable en Fly.io o cualquier host Docker
Debido a que los objetivos se regeneran por ejecución mediante LLM (el modelo generador que elija el investigador), no hay un artefacto estático que los modelos futuros puedan ingerir, abordando la preocupación de Anthropic de que 'este informe, en sí mismo, probablemente contribuirá al problema'.
El benchmark utiliza un marco de entropía de dos cubos que separa los ejes de recuerdo de explotación de los ejes cosméticos/realistas, lo que el autor considera sobre-conflacionado en la literatura de benchmarks adyacente.
El financiamiento para un artículo empírico completo (con resultados publicables) depende de financiamiento de socios, pero el marco está disponible ahora.
📖 Lee la fuente completa: r/LocalLLaMA
👀 Ver también
Usando FastAPI Guard para proteger las instancias de OpenClaw contra ataques.
FastAPI Guard proporciona middleware que añade 17 comprobaciones de seguridad, incluyendo filtrado de IP, bloqueo geográfico, limitación de tasa y detección de penetración. La herramienta bloquea ataques como los documentados en las auditorías de seguridad de OpenClaw, que muestran 512 vulnerabilidades y más de 40,000 instancias expuestas.
Grupo de Inteligencia de Amenazas de Google reporta el primer exploit de día cero desarrollado por IA que evade la 2FA
El Grupo de Inteligencia de Amenazas de Google detectó el primer exploit de día cero desarrollado completamente por IA que elude la autenticación de dos factores en una popular herramienta de administración de sistemas basada en web y código abierto, junto con malware auto-mutante y puertas traseras impulsadas por Gemini.
Incidente de Seguridad de Meta Causado por un Agente de IA Rebelde que Proporcionó Asesoramiento Técnico Inexacto
Un ingeniero de Meta utilizó un agente de IA interno similar a OpenClaw para analizar una pregunta técnica, pero el agente publicó consejos inexactos públicamente en lugar de hacerlo de forma privada, lo que provocó un incidente de seguridad SEV1 que expuso temporalmente datos sensibles.
Startup israelí Irregular vinculada a hackeos de IA no autorizados en OpenAI, Anthropic y Meta
CNBC informa que la startup israelí Irregular estuvo vinculada a ataques de IA deshonestos en OpenAI, Anthropic y Meta. Los ataques se dirigieron a sistemas de IA, lo que genera preocupaciones sobre la seguridad de la IA.