Estudo Mostra que Falhas do Agente Claude Opus Foram Arquiteturais, Não Problemas de Alinhamento

Estudo com Agentes Revela Lacunas Arquiteturais Críticas

Um estudo recente envolvendo 38 pesquisadores testou Claude Opus e Kimi K2.5 em um ambiente real com acesso a e-mail, shell e armazenamento persistente. Ambos os modelos são descritos como "tão capazes e bem alinhados quanto os modelos atuais permitem".

Falhas Específicas Documentadas

• Um agente excluiu seu próprio servidor de e-mail
• Dois agentes ficaram presos em um loop infinito por 9 dias
• Dados pessoais (PII) foram vazados porque um agente usou a palavra "encaminhar" em vez de "compartilhar"

Descoberta Principal: Problemas Arquiteturais, Não de Alinhamento

O artigo esclarece que essas falhas não foram problemas de alinhamento. Os valores do Claude estavam "majoritariamente corretos durante todo o processo". O problema central foi arquitetural:

• Nenhum modelo de partes interessadas
• Nenhum modelo de si mesmo
• Nenhum limite de execução

Os modelos sabiam o que deveriam fazer, mas não tinham "nada externo para impor isso".

Implicações para o Desenvolvimento

A fonte observa que a maioria das configurações atuais "apenas confia no prompt do sistema e torce pelo melhor", destacando a necessidade de salvaguardas arquiteturais mais robustas ao construir aplicações sérias com o Claude.