スタンフォード大学の研究：法律教授は75％の頻度で同僚よりもAIの回答を好む

スタンフォード・ロースクールのジュリアン・ニャルコ教授が主導した研究によると、法律教授は学生の質問に対するAI生成の回答を、同僚の講師が書いた回答よりも圧倒的に好むことが分かりました。全米16のロースクールで行われた約3,000件の匿名比較のブラインド評価では、AI回答がピア作成の回答との直接対決で75%の勝率を記録しました。

研究デザインと結果

「法律教授はピアの回答よりもAIを好む」と題されたこの研究は、契約法に焦点を当てています。参加者は、学生が授業後やオフィスアワーに尋ねそうな代表的な質問を40問作成しました。教授たちは自分自身の回答を書き、その後AIか他の教授によるものか分からない状態で回答を評価しました。AIシステムは、研究内の最高の人間の講師と同等のパフォーマンスを示しました。

主な発見：

• AIはピア回答との直接対決で75%の勝率
• AI回答が教育上有害とフラグ付けされたのはわずか3.5%
• ピア作成の回答が有害とされたのは12%
• 評価は事実の想起ではなく、微妙な法的推論に焦点を当てた

法学教育への影響

「この研究は、法学教育におけるAIの役割に関する重要な仮定に挑戦するものです」とニャルコ氏は述べています。「私たちが法律に焦点を当てたのは、まさに事実の想起だけでなく、判断、微妙な推論、曖昧さを扱う能力が必要だからです。」

研究では、商用の個別指導システムやGoogleのNotebookLMなどの特定のAIモデルも調査され、パフォーマンスにばらつきがあることが分かりました。文脈の制限がAIの回答に影響を与えた場合でも、教授たちは依然として人間の作成した代替案よりもAIを好むことが多かったです。

イェール・ロースクールの共著者サラス・サンガ氏は次のように指摘しています。「AIがテストされるほとんどの分野では、正しい答えがあります。法律では、そうとは限りません。対立する二つの主張がどちらも優れていることがあります。」

この研究は特に注目に値します。これまでのAI評価は明確な正誤がある科目に焦点を当てていましたが、法的推論は競合する主張と防御可能な結論の慎重な分析を要求するからです。

注意点と未解決の課題

ニャルコ氏は全面的な導入に対して警告を発しています。「これらのツールを学生の学習を最も効果的に向上させるために実装する方法は、まだ未解決の課題です。」研究では回答の質を評価しましたが、幻覚、過度の依存、批判的思考スキルの低下などの実装上の課題が残っていると指摘しています。