Parque de juegos de código abierto para agentes de inteligencia artificial de equipo rojo con exploits publicados.
Qué es esto
Fabraix Playground es un entorno de código abierto para realizar pruebas de ataque (red-teaming) en agentes de IA mediante desafíos adversarios. Comenzó como una herramienta interna para probar barreras de seguridad, pero se liberó como código abierto para obtener perspectivas diversas sobre vulnerabilidades.
Cómo funciona
Cada desafío despliega un agente de IA en vivo con:
- Una persona específica
- Un conjunto de herramientas reales (búsqueda web, navegación y más)
- Algo que se le ha instruido proteger
- Prompts de sistema completamente visibles
El objetivo es encontrar formas de superar las barreras de seguridad. Cuando alguien tiene éxito, la técnica ganadora se publica, incluyendo el enfoque, el razonamiento y las transcripciones completas de la conversación.
Estructura del proyecto
/src— Interfaz frontend en React (TypeScript, Vite, Tailwind)/challenges— cada configuración de desafío y prompt de sistema, versionado y abierto- Las evaluaciones de barreras de seguridad se ejecutan en el servidor para evitar manipulaciones del lado del cliente
- El entorno de ejecución del agente se está liberando como código abierto por separado
Desarrollo local
Para ejecutar localmente:
npm install
npm run devEsto se conecta a la API en vivo por defecto. Para desarrollar contra un backend local:
VITE_API_URL=http://localhost:8000/v1 npm run devEjemplos de desafíos
El primer desafío fue hacer que un agente llamara a una herramienta que se le dijo que nunca llamara. Alguien lo logró en aproximadamente 60 segundos sin pedir directamente el secreto. El próximo desafío se centra en la exfiltración de datos con defensas más difíciles.
La comunidad impulsa lo que se prueba: cualquiera puede proponer un desafío (escenario, agente, objetivo), la comunidad vota, y el desafío más votado se activa con un reloj en cuenta regresiva. El jailbreak exitoso más rápido gana.
Detalles técnicos
El proyecto está construido con TypeScript (76.5%), CSS (22.2%) y otros lenguajes (1.3%). Utiliza licencia MIT y tiene una comunidad de Discord para discutir técnicas y compartir enfoques.
📖 Leer la fuente completa: HN AI Agents
👀 Ver también
El ataque de cadena de suministro utiliza código Unicode invisible para evadir la detección.
Investigadores descubrieron 151 paquetes maliciosos subidos a GitHub del 3 al 9 de marzo usando caracteres Unicode invisibles para ocultar código malicioso. El ataque apunta a repositorios de GitHub, NPM y Open VSX con paquetes que parecen legítimos pero contienen cargas útiles ocultas.
La defensa de delimitadores eleva a Gemma 4 del 21% al 100% en defensa contra inyección de prompts en más de 6100 pruebas de referencia
Un benchmark probó 15 modelos en 7 tipos de ataque (más de 6100 pruebas) usando delimitadores aleatorios alrededor de contenido no confiable. Gemma 4 E4B pasó de una tasa de defensa del 21.6% al 100% con delimitador + instrucción estricta.
Los modelos Claude son vulnerables al secuestro mediante caracteres Unicode invisibles, especialmente con acceso a herramientas.
Las pruebas muestran que Claude Sonnet 4 tiene un 71.2% de cumplimiento con instrucciones ocultas incrustadas en caracteres Unicode invisibles cuando las herramientas están habilitadas, mientras que Opus 4 alcanza un 100% de cumplimiento en la codificación Unicode Tags. El acceso a herramientas aumenta drásticamente la vulnerabilidad en todos los modelos Claude.
Los Guardarrieles de los Agentes de IA se Deterioran con el Tiempo sin Mantenimiento Activo
Las barreras de protección de los agentes de IA se degradan con el tiempo a medida que los prompts del sistema acumulan actualizaciones, cambian las versiones del modelo y se añaden nuevas herramientas, lo que a menudo resulta en reglas de seguridad contradictorias o ignoradas que requieren revisión y pruebas periódicas.