なぜ弁護士がAIが幻覚を見た事例を引用し続けるのか：開発者の視点

出典：Scientific Americanの記事（2026年5月）は、AIが架空の法的引用を幻覚した裁判例が1,400件以上あると報告。弁護士は警告を受けても提出を続けている。これは法律分野だけの問題ではない。ジャーナリスト、開発者、研究者も同様の被害を受けている。

記事の主要統計

• 1,400件以上の裁判例（過去3年間）で、裁判官が書類中のAIエラーに明示的に言及（HEC Paris研究員Damien Charlotin調べ）。四半期あたり350～400件の判断に達した後、横ばいに。
• 例：アラバマ州最高裁は、AIが作成した偽の裁判例を引用した弁護士を制裁。弁護士は使用を約束した直後、次の文で存在しない裁判例を引用。
• 別の弁護士は、AI幻覚を使用しないよう警告された後に制裁を受けた。

AI信頼バイアスに関する研究

• 画像分類研究（2026年2月）：アドバイスがAIからだと知らされた参加者は、AIに対して肯定的な態度を持つほどパフォーマンスが低下。人間からのアドバイスと知らされた場合にはその効果は見られず。AIの指導には「バイアスを引き起こす特定の能力」がある。
• ドローン攻撃シミュレーション（ペンシルベニア州立大学Wagner研究室）：参加者は当初、民間人と戦闘員を正確に分類できたが、ボットがランダムなフィードバックを与えると判断を覆し、ほとんどの場合ボットが誤っていた。彼らは子供やミサイル攻撃の画像を使用し、真剣にタスクに取り組んだ。

AIコーディングエージェントへの示唆

これは単なる法律上の珍事ではない。開発者がコード生成、デバッグ、テストにAIエージェントを頼る場合にも、同じ信頼の力学が働く。主なポイント：

• 自動化バイアスは現実的：人間は機械が誤る可能性を知っていても、機械の出力を過信する。
• 偽陽性はもっともらしく見える：AIは信じがたいナンセンス（偽の判例名、もっともらしい偽の関数シグネチャ、架空のAPI）を幻覚する。従来の検証では構造的に妥当なものを見抜けない。
• コードにも制裁はある：幻覚したコードをデプロイすると、障害、セキュリティホール、コンプライアンス違反を引き起こす可能性がある。裁判所の制裁と違い、事前警告がないかもしれない。
• 横ばい、減少ではない：裁判所におけるAIエラーの発生率は、認知度が高まっても高止まりした。開発チームでも同様のパターンが予想される。認知だけでは不十分。

実用的な対策：すべてのAI出力をドラッグとして扱う。既知のパッケージレジストリ、ドキュメント、テストスイートに対する自動クロスチェックを実装する。プロダクションに到達する前に幻覚を検出するガードレールを構築する。