ICML 2026、LLM査読ポリシー違反で論文の2％をデスクリジェクト

ICML 2026は、査読におけるLLM使用に関する2つのポリシーフレームワークを導入し、合意したポリシーに違反した査読者に対して懲戒処置を実施しました。会議は497本の論文をデスクリジェクトし、これは全投稿の約2％に相当します。

ポリシーフレームワークと違反

ICML 2026は、査読におけるLLM使用について2つの異なるポリシーを確立しました：

• ポリシーA（保守的）： LLMの使用を一切許可しない
• ポリシーB（許容的）： 論文や関連研究の理解を助け、レビューを磨くためにLLMの使用を許可

査読者は自身が適用したいポリシーを選択し、ポリシーBを強く希望する査読者がポリシーAに割り当てられることはありませんでした。ポリシーAに割り当てられたのは、「ポリシーA」または「どちら（ポリシーAまたはB）でも構わない」と明示的に選択した査読者のみでした。

検出と結果

ポリシーAに割り当てられた506人の査読者によって書かれた795件のレビュー（全レビューの約1％）が、レビューでLLMを使用したと検出されました。これらの査読者は、LLMを使用しないことに明示的に同意していました。誤検出を避けるため、フラグが立てられたすべての事例は人間によって手動で確認されました。

投稿の指定された相互査読者がそのようなレビューを作成した場合、その投稿はリジェクトされ、合計497件のリジェクトが発生しました。LLM生成と検出されたすべてのポリシーAレビューはシステムから削除されました。

ポリシーA査読者が提出したレビューの半数以上がLLM生成と検出された場合、その査読者のすべてのレビューが削除され、査読者プールから除外されました。506人の検出された査読者のうち、51人のポリシーA査読者（約10％）がこのカテゴリーに該当しました。

技術的検出方法

検出方法には、提出されたPDFに隠されたLLM指示を透かしとして埋め込み、LLMを介して作成されたレビューに微妙に影響を与えることが含まれていました。この技術は：

• 17万フレーズの辞書を作成
• 各論文について、この辞書からランダムに2つのフレーズをサンプリング（特定のペアが選ばれる確率は100億分の1未満）
• LLMのみに表示される指示でPDFに透かしを入れ、レビューに選択された2つのフレーズを含めるよう指示
• これらの透かしは、PDFを読む人間には直接見えない

この方法は、Rao、Kumar、Lakkaraju、Shahによる最近の研究に基づいています。会議は、この技術は査読におけるLLMの最も深刻で不注意な使用、特に査読者がPDFをLLMに入力し出力を直接コピー＆ペーストする場合のみを捕捉する可能性があると指摘しています。

影響と背景

会議は、フラグが立てられたレビューの質や査読者の意図について判断を下しているのではなく、単に査読者が同意したポリシーを実施していることを強調しました。この混乱により、違反レビューの削除、新たな査読者の見つけ出し、既に完全なレビューセットを受け取っていた一部の投稿のデスクリジェクトが必要となりました。

このアプローチは、研究ワークフローへのAI統合への適応と査読の完全性の維持という、会議が直面するより広範な課題を反映しています。