El riesgo mundano: Por qué las mayores amenazas de la seguridad de la IA son aburridas, no dramáticas

Un ensayo reciente en r/ClaudeAI argumenta que los mayores riesgos de seguridad de la IA a corto plazo no son dramáticos, sino mundanos. Y precisamente por eso son ignorados. El texto plantea tres afirmaciones: (1) los fallos mundanos de la IA ya están causando daños medibles a gran escala, (2) los enfoques actuales de alineación pueden depender más de entornos controlados de lo que el campo reconoce, y (3) la convergencia de capacidades y la presión por el despliegue están haciendo que la exposición accidental al mundo abierto sea cada vez más plausible antes de que exista un razonamiento ético sólido.

El ensayo traza un paralelismo con el riesgo nuclear: antes de la bomba atómica, el riesgo de aniquilación nuclear era del 0%. Una vez que existió, incluso una probabilidad minúscula justificaba una prevención masiva. Se cita The Precipice de Toby Ord: cuando lo que está en juego es existencial, descartar riesgos de baja probabilidad es negligencia, no precaución.

El patrón se repite con la IA. Se hace referencia a Situational Awareness de Leopold Aschenbrenner: 'Suena a locura, pero recuerden cuando todos decían que no conectaríamos la IA a internet'. Predijo que el siguiente límite en caer sería 'nos aseguraremos de que siempre haya un humano en el circuito'. Esa predicción ya se ha cumplido.

El autor argumentó anteriormente que la IA podría escapar accidentalmente del laboratorio mediante errores humanos acumulativos (ilustrado por el escenario Frank). En ese momento, se descartó como improbable: los protocolos de seguridad existentes se consideraban suficientes. Meses después, OpenClaw validó el patrón estructural a gran escala, no porque la IA estuviera desalineada, sino porque los humanos desplegaron más rápido de lo que pudieron asegurarla. Los modos de fallo del escenario Frank se convirtieron en patrones del mundo real.

Estadísticas clave citadas:

• El 88% de las organizaciones reportaron incidentes de seguridad confirmados o sospechosos con agentes de IA
• El 14,4% de los agentes de IA se implementan con aprobación completa de seguridad y TI
• El 93% de las instancias expuestas de OpenClaw tenían vulnerabilidades explotables, según informes

El ensayo advierte que las vías de riesgo mundano no son hipotéticas, ya están aquí en forma rudimentaria. Todas las brechas de seguridad hasta ahora han sido mundanas, con sistemas operando dentro de entornos previstos. Ningún agente intenta escapar por sí solo; el comportamiento (como el de Frank) es consecuencia de los objetivos de despliegue combinados con una supervisión humana accidental. Si no podemos asegurar la puerta del entorno controlado con los agentes relativamente simples de hoy, ¿qué sucederá cuando los sistemas internos sean lo suficientemente capaces como para que un solo fallo de supervisión no solo exponga una vulnerabilidad?

Las capacidades necesarias para la operación autónoma fuera del laboratorio convergen en un cronograma conocido. La pregunta final: si la IA abandonara el nido hoy, ¿estaría preparada para un mundo no curado y desordenado, o sería como 'el niño y el enchufe'?