Marca d'água textual da Anthropic no Claude: Esteganografia semântica explicada

O plano da Anthropic de marcar d'água toda a saída de texto do Claude não é o que inicialmente parecia. De acordo com uma análise detalhada de John Gruber no Daring Fireball, a técnica é uma forma de esteganografia semântica que altera as escolhas de palavras no momento da inferência—contradizendo sua afirmação anterior de que seria 'imperceptível' e não mudaria 'significado, qualidade ou legibilidade'.

Como a Marca d'Água Realmente Funciona

O método envolve enviesar a seleção de tokens usando listas 'verde' e 'vermelha':

• A cada etapa de geração de token, as palavras são divididas deterministicamente em listas verde e vermelha, com base em uma chave secreta.
• O modelo tem uma probabilidade ligeiramente maior de escolher uma palavra da lista verde do que da vermelha (pense em uma moeda enviesada 51-49).
• Isso introduz um padrão estatístico que pode ser detectado probabilisticamente, mas desvia da geração de texto verdadeiramente natural.

O documento de suporte original afirmava que a marca d'água seria 'imperceptível' e não afetaria a legibilidade—Gruber argumenta que isso é enganoso porque o processo inerentemente modifica as escolhas de tokens, o que pode degradar a qualidade semântica.

Onde Aprender Mais

Gruber aponta para um ensaio interativo de James Padolsey, 'Como Funciona a Marca d'Água em Texto de IA', como a melhor explicação da técnica geral. A Anthropic também publicou um artigo de acompanhamento intitulado 'Como Funciona a Marca d'Água de Texto do Claude' que explica o método, embora Gruber o critique como eufemístico.

Para desenvolvedores que usam agentes de IA, isso importa: a marca d'água pode alterar sutilmente a saída, então teste seus fluxos de trabalho de acordo.