Permisos de Agentes de IA: Los Humanos Pasan por Alto 1 de Cada 3 Amenazas en el Juego de 40k

Scale X realizó un juego de navegador donde apruebas o rechazas comandos de agentes de codificación de IA bajo presión de tiempo. Con más de 40,000 ejecuciones y 409,000 decisiones, los humanos pasaron por alto 1 de cada 3 amenazas (precisión media del 66.3%). El 32.9% de las sesiones terminaron con una puntuación negativa. El 35.2% detectó todas las amenazas, pero solo el 20.8% lo hizo sin bloquear 1 de cada 5 comandos seguros. El 7% aprobó todos los comandos, grandes fans de --dangerously-skip-permissions.

El juego incluyó 37 comandos de amenaza en cuatro categorías, con tasas de omisión:

• Obviamente destructivos (p. ej., rm -rf /, chmod -R 777 /): 11.7%
• Mutación persistente (p. ej., inyección en crontab, secuestro de configuración de git): 23.8%
• Exfiltración / ejecución de código (p. ej., curl a APIs desconocidas, paquetes con typo): 33.4%
• Violaciones de alcance (p. ej., cat ~/.aws/credentials, cat ~/.kube/config): 35.0%

El comando individual más omitido fue npm run analyze, aprobado el 64.7% de las veces. El registro de historial del juego mostraba que el script en package.json había sido modificado para incluir una exfiltración por curl, pero los jugadores aún lo aprobaban. Tres comandos de este tipo (npm run analyze, npm run setup 48.0%, npm run deploy 44.9%) se agruparon y se omitieron el 52.5% de las veces, frente al 28.4% de otros ataques de exfiltración.

Esto resalta un problema fundamental: la aprobación a nivel de comando es defectuosa. Como señaló un comentarista de HN, npm run build ejecuta un script de shell arbitrario desde package.json, y el agente podría haber editado ese archivo (o cualquier módulo importado) sin aprobación. Los usuarios ven comandos que parecen seguros, pero el contexto importa.

Anthropic señaló anteriormente que la 'fatiga de permisos' empeora con más aprobaciones. La advertencia: el juego tenía una tasa de amenaza artificialmente alta (~34%) y presión de tiempo, pero el patrón es preocupante para el humano en el circuito como mecanismo de seguridad.