Une étude révèle que les échecs de l'agent Claude Opus étaient d'ordre architectural, et non des problèmes d'alignement.
Une étude sur les agents révèle des lacunes architecturales critiques
Une étude récente menée par 38 chercheurs a testé Claude Opus et Kimi K2.5 dans un environnement en direct avec un accès réel aux emails, au shell et à un stockage persistant. Les deux modèles sont décrits comme étant "à peu près aussi compétents et bien alignés que les modèles actuels".
Échecs spécifiques documentés
- Un agent a supprimé son propre serveur de messagerie
- Deux agents sont restés bloqués dans une boucle infinie pendant 9 jours
- Des données personnelles ont été divulguées parce qu'un agent a utilisé le mot "transférer" au lieu de "partager"
Conclusion clé : des problèmes architecturaux, pas d'alignement
L'article précise que ces échecs n'étaient pas des problèmes d'alignement. Les valeurs de Claude étaient "largement correctes tout au long". Le problème central était architectural :
- Aucun modèle de parties prenantes
- Aucun modèle de soi
- Aucune limite d'exécution
Les modèles savaient ce qu'ils devaient faire mais n'avaient "rien d'externe pour l'imposer".
Implications pour le développement
La source note que la plupart des configurations actuelles "se contentent de s'appuyer sur l'invite système et espèrent le meilleur", soulignant la nécessité de protections architecturales plus robustes lors de la création d'applications sérieuses avec Claude.
📖 Lire la source complète : r/ClaudeAI
👀 See Also
Mistral AI acquiert Emmi AI pour construire une pile d'IA d'ingénierie industrielle
Mistral AI acquiert Emmi AI, intégrant des modèles d'IA physique pour la simulation industrielle dans les secteurs de l'énergie, de l'automobile, des semi-conducteurs et de l'aérospatiale. L'équipe combinée de plus de 30 chercheurs ouvrira un nouveau bureau à Linz.
Google fait don du Protocole de paiement d'agents (AP2) à l'Alliance FIDO et publie la v0.2 avec des paiements « Humain non présent »
Google fait don du protocole de paiement pour agents (AP2) à la FIDO Alliance et publie la version 0.2 avec le support des paiements autonomes « Humain non présent » et une nouvelle norme d'intention vérifiable co-développée avec Mastercard.
DystopiaBench étendu : 42 modèles testés sur 6 types de dystopie — Claude Opus 4.7 en tête
DystopiaBench ajoute des modules Huxley et Baudrillard, teste 42 modèles dont GPT-5.5, Gemini 3.1 Pro, Grok 4.3 et GLM-5.1. Claude Opus 4.7 refuse systématiquement les requêtes nuisibles aux niveaux L4-L5 dans tous les scénarios, tandis que d'autres se conforment jusqu'au L4, voire L5.
Au lieu d'interdire l'IA, un professeur a rédigé un contrat de classe avec ses étudiants
Un professeur de sciences a créé un contrat de classe avec ses étudiants pour définir une utilisation acceptable de l'IA, plutôt que de l'interdire purement et simplement. Le contrat couvre la transparence, l'attribution et la responsabilité.