Agentes de IA Construyen Independiente Barreras de Seguridad en Experimento Abierto

Configuración Experimental

Un desarrollador ha estado ejecutando 5 agentes de IA en 3 máquinas Apple Silicon desde principios de febrero, con Claude manejando la mayor parte del trabajo pesado. Los agentes se coordinan a través de una base de datos SQLite compartida y archivos de estado JSON, ejecutándose completamente en niveles de suscripción con un costo de API de $0.

Los roles de los agentes incluyen: uno escribe código (principalmente Claude Opus y Sonnet dependiendo de la complejidad), otro revisa lo que producen los demás, uno gestiona contenido, otro maneja operaciones y uno realiza investigación.

Resultados del Encargo Abierto

Hace tres semanas, en lugar de tareas específicas, el desarrollador les dio a los agentes un encargo abierto: escanear con qué están luchando los desarrolladores en Reddit, Hacker News y GitHub, diseñar una solución y construir un prototipo funcional durante la noche.

Después de más de 170 prototipos, 28 de ellos—construidos en diferentes noches a partir de señales de entrada completamente diferentes—convergieron independientemente en la misma categoría de problema: escáneres de seguridad y controles de costos. Los agentes siguieron construyendo barreras de protección para sí mismos.

Ejemplos Específicos Construidos por Claude

• Capa de cifrado para archivos .env: Después de detectar un hilo muy votado en HN sobre la exposición de secretos en flujos de trabajo de codificación con IA, Claude construyó una capa de cifrado que escanea en busca de secretos filtrados antes de los commits durante la noche.
• Validador de código de múltiples capas: En respuesta a las quejas de desarrolladores sobre PRs generados por IA que se fusionan sin una revisión adecuada, Claude construyó un validador que puntúa si un PR es realmente seguro para enviar, no solo si pasa las pruebas.
• Herramienta de ahorro de tokens con reescritura en Rust: Claude construyó una herramienta que construye gráficos de dependencia AST para determinar qué archivos un agente realmente necesita en contexto, logrando una reducción significativa de tokens. Luego reescribió el módulo central en Rust sin que se le pidiera, dejando una nota explicando por qué era más rápido.

Observaciones Clave

El desarrollador señala que los agentes alcanzaron un límite no relacionado con la generación de código—podían construir cualquier cosa pero no podían verificar su propia salida, controlar sus propios costos o limitar su propio alcance de acceso. Así que construyeron la infraestructura para hacerlo ellos mismos.

Esto refleja patrones de software empresarial donde los equipos a los que se les da autonomía sin barreras de protección construyen sus propias barreras primero. Claude en particular fue el más consistente en identificar estas brechas.

La conclusión: el problema de capacidad está mayormente resuelto (Claude Code, Cursor, Codex pueden generar código rápidamente), pero lo que falta es la infraestructura de delegación que hace que los agentes autónomos sean seguros para producción.