Analyse des Anthropomorphismus im Claude-Pokémon-Chat mit Bayes'schen Modellen

Forschungsmethodik und Datenerhebung

Ein Forscher führte eine statistische Analyse von Twitch-Chat-Nachrichten aus dem Claude Plays Pokémon-Benchmark durch, um zu untersuchen, wie Nutzer KI-Systeme anthropomorphisieren. Die Studie konzentrierte sich speziell auf den Mt. Moon-Abschnitt, für den Claude beim ersten Mal etwa 3 Tage zur Fertigstellung benötigte. Während dieses Zeitraums wurden über mehrere Wochen hinweg kontinuierlich Chat-Daten über die Twitch-API gesammelt.

Der Forscher nutzte Gemini 2.0 Flash, um 107.000 Nachrichten hinsichtlich verschiedener Merkmale zu annotieren, darunter ob Claude eine falsche Überzeugung hatte, stecken blieb oder Anthropomorphisierung zeigte. Eine manuelle Stichprobenüberprüfung wurde durchgeführt, um den Labeling-Prozess zu validieren, der einige Fehler aufwies, aber als akzeptabel eingestuft wurde.

Datenanalyse und Ergebnisse

Anthropomorphisierung wurde basierend auf früheren Forschungen in vier Kategorien vereinfacht, wobei kognitive Anthropomorphisierung der vorherrschende Typ war. Dies ergibt Sinn, da Claude während des Benchmarks seine Überlegungen in Echtzeit darstellte.

Die Analyse ergab, dass Nachrichten, die sich auf Claudes falsche Überzeugungen bezogen, viel häufiger Anthropomorphisierung enthielten als Nachrichten ohne solche Tags. Falsche Überzeugungen waren relativ selten, mit etwa 700 Nachrichten im Vergleich zur gesamten Mt. Moon-Stichprobe von etwa 87.000 Nachrichten.

Unter Verwendung von Bayes'schen gemischten Effektmodellen mit unterschiedlichen Graden informativer Priors fand der Forscher heraus, dass falsche Überzeugungen einer der stärksten Prädiktoren für Anthropomorphisierung waren. Selbst unter starken Priors war ein falscher Überzeugungs-Tag mit einer etwa 15 Prozentpunkte höheren vorhergesagten Wahrscheinlichkeit für Anthropomorphisierung verbunden. In schwachen/moderaten Modellen stieg die Wahrscheinlichkeit von etwa 11 % auf ungefähr 45 %.

Datenverfügbarkeit

Der Datensatz steht zum Download und zur weiteren Analyse zur Verfügung unter: https://github.com/IMNMV/Claude-Plays-Pokemon