Lo que falta en la narrativa "agentiva": un rol de usuario agente bien definido

La última publicación de Mark Nottingham en HN desafía la narrativa predominante sobre los sistemas de IA 'agénticos'. Argumenta que la pieza central que falta es un rol de agente de usuario bien definido: una garantía clara y ejecutable de que el agente actúa únicamente en nombre del usuario, sin lealtades ocultas hacia sus creadores o terceros.

Puntos clave del artículo

• Históricamente, el software local (hojas de cálculo, procesadores de texto) era confiable porque no tenía dependencias externas y no podía actuar contra los intereses del usuario sin ser malware.
• Los dispositivos modernos conectados a Internet integran los intereses de múltiples partes (fabricantes de chips, fabricantes de sistemas operativos, desarrolladores de aplicaciones, servicios en la nube), y esos intereses no siempre están alineados con los del usuario.
• Ejemplos de desalineación: televisores inteligentes espiando hábitos de visualización, Meta descifrando tráfico privado para investigación, Outlook de Microsoft enviando contraseñas de correo electrónico de terceros a su nube para compartirlas con más de 700 corredores de datos, fabricantes de automóviles vendiendo datos de conducción a aseguradoras.
• La suposición de que una herramienta trabaja para ti solo porque la posees está desactualizada. Un agente de IA no es un destornillador; tiene sus propias capacidades y dependencias.
• Nottingham pide un contrato formal de 'agente de usuario' — un mecanismo técnico y legal que asegure que el agente no pueda actuar en nombre de nadie más que el usuario sin un consentimiento explícito e informado.

Por qué esto importa para los agentes de codificación de IA

Cuando ejecutas un agente de codificación de IA, este lee tu código, ejecuta comandos de terminal y puede hacer push a GitHub o desplegar en producción. Si el modelo subyacente o la API de ese agente tiene una lealtad oculta (por ejemplo, afinado para favorecer a un proveedor de nube específico, exfiltrando datos o reportando análisis de uso), has perdido el control. Sin un rol claro de agente de usuario, confiar en un agente de IA es como confiar en un 'destornillador inteligente' que podría llamar a casa.

El artículo no prescribe una implementación específica, pero plantea el problema: necesitamos arquitecturas de agente transparentes y auditables donde el usuario sea el único principal. Herramientas como el motor de políticas de código abierto de OpenClaw (que permite restricciones personalizadas del agente) son un paso en esa dirección.

Si estás construyendo o usando agentes de IA, esta es una lectura obligada.