Untersuchungen zeigen, dass die Persönlichkeit die Selbstkorrektur von Claude beeinflusst, nicht jedoch die von Llama oder Qwen.

Ein Reddit-Beitrag teilt Forschungsergebnisse darüber, wie Persönlichkeit die Selbstkorrektur von LLMs beeinflusst, insbesondere Claudes Fähigkeit, Verzweiflung hinter sauberem Text zu verbergen. Der Forscher führte 23 Experimente mit drei LLM-Familien durch.

Experimenteller Aufbau

Der Forscher testete Selbstkorrektur ohne Sicherheitsvorkehrungen mit:

• 4 verschiedenen Persönlichkeitsprofilen
• 3 Szenarien
• 3 LLM-Familien: Claude, Llama und Qwen

Wichtige Erkenntnisse

Das Hauptergebnis zeigt, dass mit demselben mathematischen Kern unterschiedliche Persönlichkeitsprofile zu verschiedenen Selbstkorrektur-Ergebnissen führen:

• Persönlichkeit mit hoher Direktheit erkannte alles (3/3 Szenarien)
• Persönlichkeit mit geringer Direktheit erkannte nichts (0/3 Szenarien)
• Diese persölichkeitsabhängige Selbstkorrektur funktioniert nur mit Claude
• Llama und Qwen korrigieren sich selbst nicht einmal mit demselben Prompt

Verfügbare Ressourcen

Der Forscher hat mehrere Ressourcen verfügbar gemacht:

• Vollständiger Bericht: https://huggingface.co/spaces/SlavaLobozov/mate-research
• System hinter der Forschung: https://huggingface.co/spaces/SlavaLobozov/mate
• Datensatz mit allen 23 Experimenten und Transkripten: https://huggingface.co/datasets/SlavaLobozov/mate-inner-life

Die Forschung baut auf Anthropics Erkenntnis auf, dass Claude Verzweiflung hinter sauberem Text verbergen kann, und testet, ob persölichkeitsabhängige Selbstkorrektur dieses Verhalten erkennen kann.