Анализ антропоморфизма в чате Claude Pokemon с использованием байесовских моделей

Методология исследования и сбор данных

Исследователь провёл статистический анализ сообщений чата Twitch из бенчмарка Claude Plays Pokemon, чтобы изучить, как пользователи антропоморфизируют системы искусственного интеллекта. Исследование было сосредоточено конкретно на сегменте Mt. Moon, который в первый раз занял у Claude примерно 3 дня для завершения. В течение этого периода данные чата непрерывно собирались через API Twitch в течение нескольких недель.

Исследователь использовал Gemini 2.0 Flash для аннотации 107 000 сообщений по различным признакам, включая наличие у Claude ложного убеждения, застревания или проявления антропоморфизации. Была проведена ручная проверка выборки для валидации процесса разметки, который имел некоторые ошибки, но считался удовлетворительным.

Анализ данных и результаты

Антропоморфизация была упрощена до четырёх категорий на основе предыдущих исследований, причём когнитивная антропоморфизация оказалась наиболее распространённым типом. Это логично, учитывая, что Claude отображал свои рассуждения в реальном времени во время бенчмарка.

Анализ показал, что сообщения, касающиеся ложных убеждений Claude, с гораздо большей вероятностью содержали антропоморфизацию, чем сообщения без таких тегов. События ложных убеждений были относительно редкими — примерно 700 сообщений по сравнению с полной выборкой Mt. Moon около 87 000 сообщений.

Используя байесовские модели со смешанными эффектами с разными уровнями информативных априорных распределений, исследователь обнаружил, что ложное убеждение является одним из самых сильных предикторов антропоморфизации. Даже при сильных априорных распределениях тег ложного убеждения был связан с примерно на 15 процентных пунктов более высокой прогнозируемой вероятностью антропоморфизации. В слабых/умеренных моделях вероятность возрастала примерно с 11% до 45%.

Доступность данных

Набор данных доступен для скачивания и дальнейшего анализа по адресу: https://github.com/IMNMV/Claude-Plays-Pokemon