ICML 2026 отклоняет 2% статей без рецензирования из-за нарушения политики проверки с помощью ИИ.

Конференция ICML 2026 внедрила двухуровневую политику использования LLM в процессе рецензирования и приняла дисциплинарные меры в отношении рецензентов, нарушивших согласованные правила. Конференция отклонила 497 статей, что составляет примерно 2% от всех представленных работ.

Политика и нарушения

ICML 2026 установила две различные политики использования LLM при рецензировании:

• Политика A (Консервативная): Использование LLM запрещено
• Политика B (Разрешительная): LLM разрешены для помощи в понимании статей и связанных работ, а также для улучшения рецензий

Рецензенты выбирали, по какой политике они предпочитают работать, при этом рецензенты, явно предпочитавшие Политику B, не назначались на Политику A. На Политику A назначались только те рецензенты, которые явно выбрали «Политика A» или «Мне подходит как Политика A, так и B».

Обнаружение и последствия

Было обнаружено, что 795 рецензий (около 1% от всех рецензий), написанных 506 уникальными рецензентами, назначенными на Политику A, использовали LLM при написании рецензии. Эти рецензенты явно согласились не использовать LLM. Каждый отмеченный случай был вручную проверен человеком, чтобы избежать ложных срабатываний.

Когда назначенный Взаимный Рецензент для представленной работы предоставлял такую рецензию, его статья отклонялась, что привело к 497 отказам в общей сложности. Все рецензии по Политике A, обнаруженные как сгенерированные LLM, были удалены из системы.

Если более половины рецензий, представленных рецензентом по Политике A, были обнаружены как сгенерированные LLM, все его рецензии удалялись, а сам рецензент исключался из пула рецензентов. 51 рецензент по Политике A (около 10% из 506 обнаруженных рецензентов) попали в эту категорию.

Технический метод обнаружения

Метод обнаружения включал нанесение водяных знаков на PDF-файлы представленных работ со скрытыми инструкциями для LLM, которые незаметно влияли бы на любую рецензию, созданную с помощью LLM. Техника включала:

• Создание словаря из 170 000 фраз
• Для каждой статьи случайный выбор двух фраз из этого словаря (вероятность совпадения любой конкретной пары менее одной на десять миллиардов)
• Нанесение водяных знаков на PDF-файлы с инструкциями, видимыми только для LLM, предписывающими включить две выбранные фразы в рецензию
• Эти водяные знаки не были бы напрямую видны человеку, читающему PDF-файл

Метод основан на недавней работе Рао, Кумара, Лаккараджу и Шаха. Конференция отмечает, что эта техника может выявить только наиболее вопиющие и небрежные случаи использования LLM при рецензировании, особенно когда рецензенты загружают PDF-файл в LLM и напрямую копируют вывод.

Влияние и контекст

Конференция подчеркнула, что не делает суждений о качестве отмеченных рецензий или намерениях рецензентов, а просто обеспечивает соблюдение политик, с которыми рецензенты согласились. Нарушения потребовали удаления рецензий, потенциального поиска новых рецензентов и отклонения некоторых работ, которые уже получили полный набор рецензий.

Этот подход отражает более широкую проблему, с которой сталкиваются конференции, адаптируясь к интеграции ИИ в исследовательские процессы при сохранении целостности рецензирования.