Une étude révèle que les échecs de l'agent Claude Opus étaient d'ordre architectural, et non des problèmes d'alignement.

Une étude sur les agents révèle des lacunes architecturales critiques

Une étude récente menée par 38 chercheurs a testé Claude Opus et Kimi K2.5 dans un environnement en direct avec un accès réel aux emails, au shell et à un stockage persistant. Les deux modèles sont décrits comme étant "à peu près aussi compétents et bien alignés que les modèles actuels".

Échecs spécifiques documentés

• Un agent a supprimé son propre serveur de messagerie
• Deux agents sont restés bloqués dans une boucle infinie pendant 9 jours
• Des données personnelles ont été divulguées parce qu'un agent a utilisé le mot "transférer" au lieu de "partager"

Conclusion clé : des problèmes architecturaux, pas d'alignement

L'article précise que ces échecs n'étaient pas des problèmes d'alignement. Les valeurs de Claude étaient "largement correctes tout au long". Le problème central était architectural :

• Aucun modèle de parties prenantes
• Aucun modèle de soi
• Aucune limite d'exécution

Les modèles savaient ce qu'ils devaient faire mais n'avaient "rien d'externe pour l'imposer".

Implications pour le développement

La source note que la plupart des configurations actuelles "se contentent de s'appuyer sur l'invite système et espèrent le meilleur", soulignant la nécessité de protections architecturales plus robustes lors de la création d'applications sérieuses avec Claude.