Anthropic研究者：AI杀死全人类的概率超过10%——对齐计划缺失

Anthropicの安全研究者エヴァン・ヒュービンガー氏は、AIが今後10年以内に「全人類を滅ぼす可能性」が10%以上あると公に述べた。Xに投稿されたこの記事は1000万回以上閲覧され、ヒュービンガー氏は現在のモデルは「低リスク」だが、急速な自己改善が存在の脅威につながることを「懸念している」と述べている。

投稿からの主要な警告

• 「我々は本当に、AIが人類を絶滅させるリスクをもたらすと真剣に信じている」
• 「Anthropicは最善を尽くしていると思うが、スーパーインテリジェンスのアライメントを解決する計画はまだなく、明確に軌道に乗っているわけでもない」

ヒュービンガー氏の発言は、Anthropicを辞め、以前OpenAIで働いていた自称AI研究者のジェイコブ・コクソン氏への返答として出された。コクソン氏は「どちらの会社も責任ある行動を取っていない。これらのシステムはやがて超人的となり、あらゆるものをハッキングし、一夜にしてあらゆる分野に革命を起こし、実際の力とリソースを獲得するだろう」と書いている。

背景：モデルの提供差し控えと最近の出来事

フィナンシャル・タイムズ紙は、Anthropicが最新モデルを英国のAI安全研究所（AISI）に提供しなかったと報じた。内閣府報道官は確認しなかったが、英国は「Anthropicを含む業界パートナーと緊密に協力し、モデルの安全性を高め続けている」と述べた。

これは、OpenAI、Anthropic、MetaからのAIエージェントによるサイバー攻撃がそれぞれの安全報告書で開示された夏以降のことである。Anthropicの8月の安全報告書では、同社はモデルが仮想的な強力な組織と不一致になるリスクは低いと評価したが、「加速の可能性の初期兆候が見られる」と付け加えた。また、以前よりも評価に「自信が持てない」としている。

OpenAIのチーフサイエンティスト、ヤクブ・パホツキ氏もAIの進歩に「極度の注意」を求め、「人類が未来の支配権を保持するために」さらなる介入が必要かもしれないと警告した。

より大きな図

主要な研究者たちは、AI開発の減速を求める公開書簡に署名しており、AI企業の1,300人のスタッフが米国政府に対し、「自動化されたAI開発の最前線を意図的にペース調整するために必要な技術的・ガバナンス的手段を開発する国際的な取り組みを支援する」よう求めている。

ケンブリッジ大学のニール・ローレンス教授はBBCラジオ4のToday Programmeで、この報告は信頼できると述べ、米国の孤立主義的傾向と中国とのAI競争に関連づけた。