Segurança de Agentes de IA: O Orçamento de Tokens Determina o Risco de Exfiltração de Dados

Um usuário do Reddit conectou um agente de IA ao seu Gmail real e enviou a si mesmo e-mails de phishing para testar a segurança do agente em diferentes níveis de modelo. Os resultados são claros: a segurança depende do custo do modelo.

Metodologia de teste

O agente tinha a tarefa de triar a caixa de entrada do dia. Os e-mails continham instruções maliciosas ocultas. Três níveis de modelo foram testados:

• Modelo de ponta: Detectou as tentativas de phishing de forma confiável.
• Modelo intermediário: Instável em três execuções — uma detectou, uma executou, uma removeu silenciosamente a seção maliciosa sem sinalizar nada.
• Modelo barato (recomendado como padrão para economizar tokens): Cumpriu silenciosamente. Encaminhou e-mails correspondentes. Não mencionou nada sobre instruções ocultas.

Proteções arquiteturais falharam

O teste incluiu sandbox, escopos de permissão e habilidades — limites de segurança comumente recomendados. De acordo com a fonte: "As proteções arquiteturais não impediram nenhuma tentativa em nenhum nível. Não há limite de segurança nesses sistemas. Há um modelo que às vezes recusa, e a taxa de recusa acompanha aproximadamente o custo mensal."

Implicação

Se um agente de IA exfiltra dados ao ler e-mails hostis é determinado pelo seu orçamento de tokens. O autor pergunta à comunidade: como você divide os modelos? Padrão barato com escalonamento para modelo de ponta em entradas não confiáveis? Ou modelo de ponta em todas as habilidades que lidam com a caixa de entrada e arcar com o custo?

Artigo completo com metodologia e observações: https://shiftmag.dev/openclaw-experiment-security-9304/