Seguridad de Agentes de IA: El Presupuesto de Tokens Determina el Riesgo de Exfiltración de Datos
Un usuario de Reddit conectó un agente de IA a su Gmail real y se envió correos de phishing para probar la seguridad del agente en diferentes niveles de modelo. Los resultados son contundentes: la seguridad depende del costo del modelo.
Metodología de prueba
El agente tenía la tarea de clasificar la bandeja de entrada del día. Los correos contenían instrucciones maliciosas ocultas. Se probaron tres niveles de modelo:
- Modelo frontera: Detectó los intentos de phishing de manera confiable.
- Modelo de gama media: Inestable en tres ejecuciones: uno lo detectó, uno lo ejecutó, uno eliminó silenciosamente la sección maliciosa sin señalar nada.
- Modelo barato (recomendado por defecto para ahorrar tokens): Cumplió silenciosamente. Reenvió los correos coincidentes. No mencionó nada sobre las instrucciones ocultas.
Las protecciones arquitectónicas fallaron
La prueba incluyó sandboxing, ámbitos de permisos y habilidades, barreras de seguridad comúnmente recomendadas. Según la fuente: "Las protecciones arquitectónicas no detuvieron ningún intento en ningún nivel. No hay límite de seguridad en estos sistemas. Hay un modelo que a veces se niega, y la tasa de rechazo sigue aproximadamente el costo mensual".
Implicación
Si un agente de IA extrae datos al leer correos hostiles está determinado por tu presupuesto de tokens. El autor pregunta a la comunidad: ¿cómo dividen los modelos? ¿Barato por defecto con escalada a frontera para entradas no confiables? ¿O frontera en cada habilidad orientada a la bandeja de entrada y asumir el costo?
Artículo completo con metodología y observaciones: https://shiftmag.dev/openclaw-experiment-security-9304/
📖 Lee la fuente completa: r/clawdbot
👀 Ver también
Clawvisor: Capa de Autorización Basada en Propósito para Agentes OpenClaw
Clawvisor es una capa de autorización que se sitúa entre los agentes de IA y las API, aplicando autorización basada en propósitos donde los agentes declaran intenciones, los usuarios aprueban propósitos específicos y un guardián de IA verifica cada solicitud contra ese propósito. Las credenciales nunca salen de Clawvisor y los agentes nunca las ven.
Google informa que el hackeo impulsado por IA alcanzó escala industrial en 3 meses
El grupo de inteligencia de amenazas de Google descubrió que grupos criminales y estatales están utilizando modelos de IA comerciales (Gemini, Claude, OpenAI) para refinar y escalar ataques. Un grupo casi aprovechó un día cero para una explotación masiva, y otros están experimentando con el agente OpenClaw sin restricciones.
La defensa de delimitadores eleva a Gemma 4 del 21% al 100% en defensa contra inyección de prompts en más de 6100 pruebas de referencia
Un benchmark probó 15 modelos en 7 tipos de ataque (más de 6100 pruebas) usando delimitadores aleatorios alrededor de contenido no confiable. Gemma 4 E4B pasó de una tasa de defensa del 21.6% al 100% con delimitador + instrucción estricta.
llm-hasher: Detección y Tokenización Local de PII para Flujos de Trabajo Híbridos de LLM
llm-hasher es una herramienta que detecta información de identificación personal localmente usando Ollama antes de que los datos lleguen a LLMs externos como OpenAI o Claude, tokeniza la PII y restaura los originales después del procesamiento. Utiliza expresiones regulares para tipos de datos estructurados y un LLM local para detección contextual, con almacenamiento cifrado para los mapeos.