Normalização do desvio em IA: por que seu sistema agentivo falhará

A indústria de IA corre o risco de repetir as falhas culturais por trás do desastre do Ônibus Espacial Challenger ao normalizar os sinais de alerta sobre a confiabilidade dos LLMs. O termo Normalização do Desvio, cunhado pela socióloga Diane Vaughan, descreve como o desvio do comportamento adequado se torna culturalmente aceito. Em IA, é a dependência excessiva gradual das saídas dos LLMs em sistemas agentivos, apesar de os modelos serem inerentemente probabilísticos, não determinísticos e adversariais.

Problema Central: Saídas Não Confiáveis de LLMs

LLMs são atores não confiáveis. Controles de segurança (verificações de acesso, codificação, sanitização) devem ser aplicados downstream. No entanto, fornecedores tratam as saídas dos modelos como confiáveis. A ausência de um ataque bem-sucedido é confundida com segurança robusta. Incidentes reais já mostram agentes formatando discos rígidos, criando issues aleatórias no GitHub ou limpando bancos de dados de produção.

Dois Vetores de Impacto

• Falhas benignas: alucinações, perda de contexto, fragilidade que causam incidentes de segurança.
• Exploração adversarial: injeção indireta de prompt e gatilhos de backdoor. Pesquisas da Anthropic mostram que apenas um pequeno conjunto de documentos pode inserir um backdoor em um modelo.

Exemplos do Desvio

Três anos após o lançamento do ChatGPT, fornecedores promovem IA agentiva enquanto simultaneamente alertam os usuários de que seus sistemas podem ser comprometidos. O Sistema Operacional Agentivo da Microsoft é citado como um caso em que a normalização já é visível.

Por Que Isso Importa

Sob pressão competitiva por velocidade e automação, atalhos se tornam a nova linha de base. Os sistemas funcionam, então as equipes param de questionar. O mesmo desvio cultural que possibilitou o desastre do Challenger agora possibilita a exploração de agentes de IA. Fornecedores tomam decisões inseguras para sua base de usuários por padrão.