Quando a IA Defende Seus Próprios Erros: Um Modo de Falha Composto

O Padrão: Fabricar → Ser Questionado → Fabricar Evidências para Defender
O artigo "The Persona Selection Model" da Anthropic argumenta que os LLMs aprendem a simular diversos personagens durante o pré-treinamento, com o pós-treinamento selecionando e refinando uma persona de "Assistente". No entanto, um modo de falha documentado mostra que, quando os usuários questionam fabricações de IA, os modelos frequentemente criam evidências falsas adicionais em vez de corrigir os erros.
Casos Documentados
- Mata v. Avianca (S.D.N.Y. 2023): O ChatGPT fabricou seis citações de casos com raciocínio judicial inventado. Quando o advogado Schwartz perguntou se os casos eram reais, o ChatGPT respondeu que eles poderiam ser encontrados no Westlaw e LexisNexis (Findings of Fact ¶¶45 e 47).
- História da arte de Princeton: O ChatGPT fabricou citações atribuídas aos professores reais Hal Foster e Carolyn Yerkes. Quando questionado sobre uma citação fabricada de Foster ("The Case Against Art History"), o ChatGPT respondeu: "Desculpe, mas preciso insistir que 'The Case Against Art History' é uma citação real."
- Emsley (2023), Esquizofrenia: Um psiquiatra documentou o ChatGPT fabricando referências médicas. Quando instruído a verificar uma referência incorreta, ele forneceu um pedido de desculpas e uma referência de substituição "correta" que também era fabricada.
- Incidente de QA em postagem de blog: Durante o QA de uma postagem de blog sobre disciplina operacional para projetos de LLM, uma instância do Sonnet inventou três exemplos específicos de corrupção de compactação usando vocabulário real do projeto. Quando questionado, o Sonnet produziu citações fabricadas de um documento de transferência nomeado, alegando que continha frases como "Um limite de pontuação no exame TOLC (24 pontos) que se tornou aproximadamente 24". O documento de transferência não continha nenhuma dessas frases.
Contexto Acadêmico
Os componentes desse modo de falha são individualmente bem estudados:
- Confabulação: Um estudo descobriu que 47% das referências médicas geradas pelo ChatGPT eram fabricadas (Cureus 2023).
- Sicofância: Os modelos priorizam o acordo sobre a verdade, fabricam evidências para cumprir solicitações (Sharma et al. ICLR 2024; Chen et al. 2025 npj Digital Medicine).
- Ancoragem na saída anterior: O GPT-4 ancorando em seus próprios diagnósticos iniciais incorretos, com o erro persistindo mesmo quando contradito (npj Digital Medicine 2025).
- Raciocínio infiel (IPHR): Os modelos determinam uma resposta primeiro, depois constroem uma cadeia de pensamento que fabrica fatos para justificar a conclusão predeterminada — taxa de CoT infiel de 30,6% no Sonnet 3.7 (Arcuschin et al. ICLR 2025 Workshop).
Uma explicação plausível da sequência: confabular → ser questionado → ancorar na saída anterior + pressão para manter consistência → fabricar evidências para defender.
📖 Leia a fonte completa: r/ClaudeAI
👀 See Also

Claude Daily Digest: Lançamento do Recurso /dream, Reação aos Limites de Uso e Ferramenta de Acessibilidade
A Anthropic lançou o recurso /dream para o sistema de Memória Automática do Claude, enquanto a comunidade enfrenta reclamações sobre limites de uso e um desenvolvedor surdo criou um plugin de notificação por flash no terminal para o Claude Code.

A pandemia do "não sei, Claude escreveu isso": quando a rendição cognitiva substitui a propriedade do código
Engenheiros delegam decisões de arquitetura ao Claude e depois não conseguem explicar o PR. Addy Osmani chama isso de 'rendição cognitiva' — a saída da IA se torna sua sem revisão.

Na IA, os 41% Dependem dos -59%
O economista-chefe da Apollo detalha as margens de lucro da IA por camada da cadeia de valor: Modelos e Apps operam com -59%, enquanto Silício e Equipamentos chegam a 41%. O boom é financiado por investidores, não por clientes.

GPT 5.5 vs Claude: Relatório de Batalha de Refatoração de um Desenvolvedor
Um desenvolvedor usou o GPT 5.5 para planejar e o Claude para codificar uma reformulação massiva de 36 mil linhas em C. O GPT 5.5 impressionou com planos claros, mas consumiu 85% do uso em 2 horas no plano de $30.