Comprendiendo la autonomía de los agentes de IA en aplicaciones del mundo real.

El estudio de Anthropic se centra en medir la autonomía de agentes de IA como Claude Code en aplicaciones prácticas. Esta investigación investiga cuán autónomos pueden volverse estos agentes cuando se utilizan en diversos dominios, incluyendo la ingeniería de software, la atención médica, las finanzas y la ciberseguridad.

Hallazgos Clave

• Aumento de la Autonomía en Claude Code: El estudio observó que la duración de las sesiones de Claude Code casi se ha duplicado a más de 45 minutos en tres meses, indicando una mayor capacidad de autonomía.
• Usuarios Experimentados y Funcionalidad de Aprobación Automática: Los usuarios de Claude Code se vuelven más inclinados a utilizar la función de aprobación automática con el tiempo, con usuarios experimentados interviniendo con menos frecuencia a menos que sea necesario.
• Aclaraciones Iniciadas por el Agente: Claude Code pausa para buscar aclaraciones más a menudo de lo que es interrumpido por los usuarios, especialmente durante tareas complejas, demostrando su capacidad para manejar la ambigüedad de forma independiente.
• Uso del Dominio y Niveles de Riesgo: Las acciones actuales de los agentes de IA son mayoritariamente de bajo riesgo y reversibles, con un uso significativo en la ingeniería de software (que representa casi el 50% de las actividades) y funciones emergentes en atención médica, finanzas y ciberseguridad.

Metodología

La investigación abordó el análisis de agentes de IA desglosando el uso de herramientas a través de su API pública y los conocimientos directos de Claude Code. Utilizaron métricas para rastrear las operaciones sin reconstruir sesiones completas, ofreciendo una vista detallada de las interacciones individuales con las herramientas.

Recomendaciones para Desarrolladores

Para garantizar una supervisión efectiva de los despliegues de IA, el estudio subraya la necesidad de nuevas infraestructuras de monitoreo post-despliegue y paradigmas avanzados de interacción humano-IA. Esto facilitaría la gestión de la autonomía compartida y mitigaría los riesgos asociados con el uso de agentes de IA.