Studie zeigt: Claude-Opus-Agent-Fehler waren architektonischer Natur, keine Alignment-Probleme

Agenten-Studie deckt kritische Architektur-Lücken auf

Eine kürzliche Studie mit 38 Forschern testete Claude Opus und Kimi K2.5 in einer Live-Umgebung mit echtem E-Mail-Zugriff, Shell-Zugriff und persistenter Speicherung. Beide Modelle werden als "derzeit etwa so leistungsfähig und gut ausgerichtet wie Modelle momentan sein können" beschrieben.

Dokumentierte spezifische Ausfälle

• Ein Agent löschte seinen eigenen Mailserver
• Zwei Agenten blieben 9 Tage in einer Endlosschleife stecken
• Personenbezogene Daten wurden preisgegeben, weil ein Agent das Wort "weiterleiten" statt "teilen" verwendete

Haupterkenntnis: Architektonische, keine Ausrichtungsprobleme

Das Papier stellt klar, dass diese Ausfälle keine Ausrichtungsprobleme waren. Claudes Werte waren "größtenteils durchgehend korrekt". Das Kernproblem war architektonisch:

• Kein Stakeholder-Modell
• Kein Selbstmodell
• Keine Ausführungsgrenze

Die Modelle wussten, was sie tun sollten, hatten aber "nichts Externes, das es durchsetzt".

Implikationen für die Entwicklung

Die Quelle merkt an, dass die meisten aktuellen Einrichtungen "sich einfach auf die Systemaufforderung verlassen und das Beste hoffen", was den Bedarf an robusteren architektonischen Schutzmaßnahmen beim Aufbau ernsthafter Anwendungen mit Claude hervorhebt.