Водяные знаки текста Anthropic в Claude: объяснение семантической стеганографии

План Anthropic помечать водяными знаками весь текст, создаваемый Claude, не совсем то, что они изначально подразумевали. Согласно подробному анализу Джона Грубера из Daring Fireball, этот метод является формой семантической стеганографии, которая изменяет выбор слов во время вывода — что противоречит их более раннему заявлению о том, что он будет 'незаметным' и не изменит 'смысл, качество или читабельность'.

Как на самом деле работает водяной знак

Метод включает смещение выбора токенов с использованием "зеленых" и "красных" списков:

• На каждом шаге генерации токена слова детерминированно разделяются на зеленые и красные списки на основе секретного ключа.
• Модель с немного большей вероятностью выберет слово из зеленого списка, чем из красного (представьте смещенную монету 51-49).
• Это вносит статистическую закономерность, которую можно обнаружить вероятностно, но она отклоняется от по-настоящему естественной генерации текста.

В исходном документе поддержки утверждалось, что водяной знак будет 'незаметным' и не повлияет на читабельность — Грубер утверждает, что это вводит в заблуждение, потому что процесс по своей сути изменяет выбор токенов, что может снизить семантическое качество.

Где узнать больше

Грубер указывает на интерактивное эссе Джеймса Падолси, 'Как работает водяной знак ИИ-текста', как на лучшее объяснение общей техники. Anthropic также опубликовал дополнительную статью под названием 'Как работает водяной знак текста Claude', в которой объясняется метод, хотя Грубер критикует ее за эвфемистичность.

Для разработчиков, использующих ИИ-агентов, это важно: водяной знак может незаметно изменить вывод, поэтому соответствующим образом тестируйте свои рабочие процессы.