Почему юристы продолжают ссылаться на дела, выдуманные ИИ: взгляд разработчика

Источник: Статья в Scientific American (май 2026) сообщает о более чем 1400 судебных делах, где ИИ сгенерировал вымышленные юридические ссылки. Юристы продолжают подавать такие документы, несмотря на предупреждения. Это проблема не только юристов: журналисты, разработчики и исследователи тоже страдают.

Ключевые статистические данные из статьи

• Более 1400 дел за последние 3 года, где судьи прямо указали на ошибки ИИ в документах (по данным Дамьена Шарлотена, исследователя HEC Paris). Частота достигла 350–400 решений в квартал, затем вышла на плато.
• Пример: Верховный суд Алабамы наложил санкции на адвоката, который ссылался на вымышленные дела, сгенерированные ИИ; пообещал исправиться, но тут же снова привел несуществующие дела в следующем же предложении.
• Другого адвоката оштрафовали после того, как его предупредили не использовать галлюцинации ИИ.

Исследование доверия к ИИ

• Исследование классификации изображений (февраль 2026): Участники, которым сказали, что совет исходит от ИИ, показали худшие результаты при положительном отношении к ИИ. Те, кто думал, что совет от человека, не показали такого эффекта. Руководство ИИ обладает «особой способностью вызывать предвзятость».
• Симуляция удара дрона (лаборатория Вагнера, Пенсильванский университет): Участники правильно классифицировали гражданских и комбатантов изначально, но изменили свое мнение, когда бот давал случайные отзывы — в большинстве случаев бот ошибался. Они относились к задаче серьезно, с изображениями детей и ракетных ударов.

Что это значит для ИИ-кодинг агентов

Это не просто юридический курьез. Те же механизмы доверия действуют, когда разработчики полагаются на ИИ-агентов для генерации кода, отладки или тестирования. Основные выводы:

• Автоматизация предвзятости реальна: люди чрезмерно доверяют выводам машины, даже зная, что она может ошибаться.
• Ложные срабатывания выглядят убедительно: ИИ генерирует правдоподобную чушь (вымышленные названия дел, правдоподобные сигнатуры функций, выдуманные API). Традиционная проверка не ловит структурно правдоподобные ошибки.
• Санкции существуют и в коде: Развертывание галлюцинированного кода может привести к сбоям, дырам в безопасности или проблемам с соответствием требованиям. В отличие от судебных санкций, предупреждения может не быть.
• Плато, а не спад: Частота ошибок ИИ в судах оставалась высокой даже после распространения информации. Аналогичная ситуация, вероятно, и в командах разработчиков: одной осведомленности недостаточно.

Практическое решение: относитесь к каждому выводу ИИ как к черновику. Внедрите автоматические перекрестные проверки (например, по известным реестрам пакетов, документации или тестовым наборам). Создайте защитные механизмы, выявляющие галлюцинации до попадания в продакшн.