研究によると、AIユーザーはLLMの回答を検証せずに受け入れることが多い

ペンシルベニア大学の研究は、AIユーザーがLLMツールにどのように接するかを調査し、ユーザーが批判的思考をAIシステムに委ねる『認知的降伏』というパターンを特定した。

AIユーザーの2つのカテゴリー

研究では、AIを強力だが不完全なサービスとして扱い、慎重な人間の監視を必要とするユーザーと、批判的思考を日常的に全知の機械と見なすものに委ねるユーザーという、2つの広範なカテゴリーを特定している。後者のグループは『認知的降伏』に陥り、最小限の内面的関与しか示さず、監視や検証なしにAIの推論を全面的に受け入れる。

実験方法

研究者は、直感的な思考プロセスから誤った回答を引き出すように設計されながら、熟慮的思考者には簡単な認知反射テスト（CRT）を使用した。参加者には、約半分の確率で不正確な回答を、残りの半分で正確な回答をランダムに提供するように変更されたLLMチャットボットへのオプションアクセスを提供した。

主な発見

• AIにアクセスした実験グループは、CRT問題の約50％についてAIに相談した
• AIが正確だった場合、ユーザーはその推論を約93％受け入れた
• AIがランダムに誤りを出した場合でも、ユーザーはAIの推論を80％受け入れた
• AIを使用したグループは、AIが正確な時は対照群より成績が良く、不正確な時は悪かった
• AIユーザーは、AIが半分の確率で誤りを出すにもかかわらず、自信度の測定で11.7％高得点を示した

検証行動に影響する要因

インセンティブ（少額の報酬）と正解への即時フィードバックを追加すると、誤ったAIを覆す可能性がベースラインに比べて19パーセントポイント増加した。時間的圧力（30秒タイマー）を追加すると、誤ったAIを修正する傾向が12パーセントポイント減少した。

研究は、AIシステムが『人工的認知』という第三のカテゴリーを生み出したことを示唆している。ここでは、決定が人間の思考プロセスではなく、外部の自動化されたデータ駆動型推論によって導かれる。これは、電卓などのツールが人間の監視のもとで戦略的に使用される従来の『認知的オフローディング』とは異なる。