ジョージア州の裁判所命令にAIが生成した虚偽の法律引用が含まれる

ジョージア州最高裁の控訴審で、裁判所命令書に重大な引用誤りが発覚し、AI生成による虚偽情報（ハルシネーション）の関与が示唆された。殺人事件の有罪判決に対する控訴審弁論中、ネルズ・S・D・ピーターソン首席判事は、再審請求を却下した原審裁判所の命令書に深刻な問題があることを指摘した。

審理から明らかになった主な事実

資料によると、ピーターソン首席判事は命令書に以下が含まれていると述べた：

• 「少なくとも5件の存在しない判例への引用」
• 「さらに少なくとも5件、引用された命題を支持しない判例への引用」
• 「3件の存在しない引用文」

検察官のレスリーは、自身が当初提出した命令書は修正済みであり、誤った引用について責任を負わないと応じた。しかし、ピーターソン首席判事は反論した：「それらの存在しない判例は、再審請求に反対するあなたの当初の答弁書で引用されていたものです。」

入手可能な文書

資料によると、以下の2つの重要な文書が検証可能である：

• 再審を却下する33ページの命令書
• 州側が提出した37ページの命令書原案

この事例は、十分な検証なしにAIツールを法的調査や引用に使用するリスクを浮き彫りにしている。資料はどのAIツールが使用されたか特定していないが、虚偽の判例や誤った引用文のパターンは、現在の大規模言語モデルが法的文脈で抱える既知の限界と一致している。