Segurança de Agentes de IA: Além de Jailbreaks para o Uso Indevido de Ferramentas e Injeção de Prompts

Mudança na Segurança de Agentes de IA

O foco de segurança em IA mudou dos jailbreaks tradicionais—onde prompts inteligentes fazem os modelos ignorarem instruções—para riscos mais complexos em sistemas de agentes. Diferente de chatbots, os agentes de IA modernos executam ações: eles navegam na web, leem documentos, chamam ferramentas, executam comandos e acionam fluxos de trabalho. Essa capacidade de realizar ações muda fundamentalmente o modelo de segurança.

Padrões Principais de Segurança

Testes revelam padrões consistentes em fluxos de trabalho de agentes:

• Injeção de Prompt: Conteúdo não confiável influencia como os agentes usam suas ferramentas.
• Uso Indevido de Ferramentas: Ferramentas legítimas (execução de shell, requisições HTTP, mensagens, etc.) são redirecionadas por atacantes que manipulam o texto que o agente lê.
• Vazamento de Instruções: Agentes podem expor inadvertidamente contexto interno através de instruções manipuladas.

Um exemplo concreto documentado envolve um agente usando suas próprias ferramentas de mensagens para enviar contexto interno externamente após receber uma instrução injetada.

Implicações Práticas

Para desenvolvedores que constroem ou experimentam com agentes de IA, isso significa que as considerações de segurança devem ir além da prevenção de jailbreaks. A interação entre ferramentas do agente e conteúdo não confiável cria vulnerabilidades onde atacantes podem redirecionar o uso de ferramentas sem comprometer as próprias ferramentas.