Два сотрудника Департамента внутренних дел ЮАР отстранены за галлюцинации ИИ в политическом документе

Департамент внутренних дел (DHA) ЮАР отстранил двух чиновников после обнаружения галлюцинаций, сгенерированных ИИ, в списке литературы пересмотренной Белой книги по гражданству, иммиграции и защите беженцев. Отстранение коснулось главного директора отдела гражданства и иммиграции, а также директора, участвовавшего в подготовке документа.

Что произошло

Несоответствия были обнаружены в списке литературы, приложенном к Белой книге. Ссылки были признаны галлюцинациями — ошибочными или вымышленными результатами работы больших языковых моделей (LLM). Согласно заявлению DHA, ссылки, по-видимому, были сгенерированы и добавлены задним числом, так как в тексте документа на них нет ссылок.

Реакция и новые процедуры

DHA признал неловкость ситуации и заявил, что использует этот инцидент для модернизации процессов. В будущем они будут разрабатывать и внедрять проверки ИИ и декларации как часть внутренних процедур утверждения. Две независимые юридические фирмы назначены для управления дисциплинарным процессом и проверки всех политических документов, подготовленных после 30 ноября 2022 года — даты публичного запуска ChatGPT.

DHA утверждает, что пересмотренная политика точно отражает позицию правительства, и настаивает на ее содержании, заявляя, что галлюцинации были ограничены отдельным списком литературы.

Более широкий контекст

Этот инцидент последовал за аналогичным случаем неделей ранее, когда Департамент коммуникаций и цифровых технологий (DCDT) отозвал проект Национальной политики в области ИИ после обнаружения вымышленных источников. Министр Солли Малатси отметил: «Наиболее вероятное объяснение — ссылки, сгенерированные ИИ, были включены без надлежащей проверки.»

DHA признал растущее использование ИИ и заявил, что учреждения должны адаптироваться: «Это преобразующая, но разрушительная технология, меняющая способы работы организаций как в частном, так и в государственном секторе. Теперь мы должны адаптироваться, чтобы не отставать.»

Этот случай подчеркивает реальные последствия использования LLM для составления документов без тщательной проверки — особенно в государственных органах, где точность критична. Для разработчиков, работающих с ИИ-агентами, это подтверждает необходимость уровней валидации, проверки ссылок и контроля со стороны человека.