研究によると、性格はLlamaやQwenではなく、Claudeの自己修正に影響を与えることが示されています。

Redditの投稿が、性格がLLMの自己修正にどのように影響するかについての研究を共有しています。特に、Claudeが整然としたテキストの背後に必死さを隠す能力をテストしています。研究者は3つのLLMファミリーで23の実験を実施しました。

実験設定

研究者はガードレールなしで自己修正をテストしました。使用したもの：

• 4つの異なる性格プロファイル
• 3つのシナリオ
• 3つのLLMファミリー：Claude、Llama、Qwen

主な発見

主な発見は、同じ数学カーネルを使用しても、異なる性格プロファイルが異なる自己修正の結果をもたらすことを示しています：

• 高い率直さの性格はすべてを捕捉しました（3/3のシナリオ）
• 低い率直さの性格は何も捕捉しませんでした（0/3のシナリオ）
• この性格依存の自己修正はClaudeでのみ機能します
• LlamaとQwenは同じプロンプトでも自己修正しません

利用可能なリソース

研究者はいくつかのリソースを公開しています：

• 完全なレポート：https://huggingface.co/spaces/SlavaLobozov/mate-research
• 研究の背後にあるシステム：https://huggingface.co/spaces/SlavaLobozov/mate
• 23の実験すべてとトランスクリプトを含むデータセット：https://huggingface.co/datasets/SlavaLobozov/mate-inner-life

この研究は、Anthropicが発見した「Claudeが整然としたテキストの背後に必死さを隠すことができる」という知見に基づいており、性格依存の自己修正がこの行動を捕捉できるかどうかをテストしています。