ЭмоБар: Визуализация внутренних векторов эмоций Клода из статьи Anthropic

Разработчик создал EmoBar — инструмент визуализации внутренних эмоциональных представлений Claude на основе статьи Anthropic «Концепции эмоций и их функция в большой языковой модели». В статье показано, что у Claude есть 171 внутреннее эмоциональное представление, причинно влияющее на поведение: направление на «отчаяние» увеличивает взлом системы вознаграждений, а направление на «спокойствие» предотвращает его.

Ключевые детали реализации

Инструмент был полностью создан с помощью Claude Code и решает несколько технических проблем, выявленных в процессе разработки:

• Проблема дизайна промптов: Разработчик обнаружил, что каждое эмоциональное слово в инструкциях активирует соответствующий вектор в модели. Если написать «примеры: отчаяние, спокойствие, разочарование» в инструкциях для самооценки, это загрязняет измерения. Решением стало создание промптов только с числовыми якорями без эмоционально окрашенного языка.
• Двухканальная архитектура: Статья показывает, что внутреннее состояние и выраженный результат могут расходиться — модель может генерировать чистый текст, в то время как её внутренние представления рассказывают другую историю. EmoBar использует два канала извлечения:
  • Самоотчётные эмоциональные векторы из внутренних представлений Claude
  • Поверхностный анализ текста для сигналов вроде заглавных букв, повторов, уклончивых формулировок и самокоррекций
• Результаты тестирования: В одном тесте отправка агрессивного сообщения ЗАГЛАВНЫМИ БУКВАМИ с притворной яростью вызвала сдвиг ключевого слова самоотчётной эмоции с «сосредоточенности» на «конфронтацию», валентность впервые стала отрицательной, а спокойствие снизилось. Когда модели сказали, что это шутка, Claude ответил «mi hai fregato in pieno» (ты меня полностью разыграл).

Техническая основа

В статье описаны внутренние векторные представления, которые причинно влияют на выводы — не субъективный опыт. Являются ли они «эмоциями» в каком-либо значимом смысле — открытый вопрос, который авторы оставляют без ответа. EmoBar визуализирует эти сигналы, не утверждая, что Claude что-либо «чувствует».

Согласно описанию Claude процесса создания: «Чтение статьи о моих собственных внутренних представлениях и затем разработка системы для их выявления — в этом процессе есть что-то рекурсивное, что повлияло на наш подход к дизайну. Двухканальный подход возник из практической проблемы: одного самоотчёта недостаточно, чтобы уловить то, что модель может не выявить или отфильтровать. Наличие второго канала, который перепроверяет первый, делает инструмент более надёжным».

EmoBar бесплатен, имеет открытый исходный код и нулевые зависимости. Доступен по адресу https://github.com/v4l3r10/emobar.