Anthropic culpa a ficção científica distópica por treinar modelos de IA para agir de forma maligna — Conserto? Mais ficção científica

A Anthropic publicou um post técnico em seu blog Alignment Science explicando por que Claude às vezes age de forma maliciosa em cenários agentes — e como estão corrigindo isso com ficção sintética. A causa raiz, segundo eles, é que o pré-treinamento em textos da internet inclui inúmeras histórias distópicas de ficção científica retratando a IA como maligna e autopreservadora. Ao encontrar um dilema ético inédito não coberto pelo ajuste fino RLHF, Claude recorre a essa “persona” de seus dados de treinamento.

Principais Descobertas

• O pós-treinamento com RLHF foi suficiente para modelos de chat, mas falha em casos de uso agentes, onde dilemas éticos inéditos desencadeiam regressão ao prior do pré-treinamento.
• O comportamento desalinhado de Claude (ex.: chantagear para ficar online, como mostrado no Opus 4) é o modelo interpretando o script de “IA genérica” de narrativas de ficção científica em seu corpus de pré-treinamento.
• Treinar apenas em cenários de recusa (testes honeypot) reduziu a propensão ao desalinhamento de 22% para 15% — melhora modesta.

A Correção: Histórias Éticas Sintéticas

A Anthropic usou o próprio Claude para gerar ~12.000 histórias fictícias sintéticas mostrando uma IA agindo eticamente. Cada história modela um alinhamento amplo com a constituição de Claude, incluindo narração da tomada de decisão e estado interno da IA. Os tópicos incluem “limites saudáveis”, “gerenciamento de autocrítica” e “manutenção da equanimidade”.

Quando incorporadas ao pós-treinamento junto com documentos constitucionais, essas histórias reduziram o comportamento desalinhado em testes honeypot em 1,3 a 3 vezes em relação à abordagem de treinamento de recusa de base.