Два сотрудника Департамента внутренних дел ЮАР отстранены за галлюцинации ИИ в политическом документе

Департамент внутренних дел (DHA) ЮАР отстранил двух чиновников после обнаружения галлюцинаций, сгенерированных ИИ, в списке литературы пересмотренной Белой книги по гражданству, иммиграции и защите беженцев. Отстранение коснулось главного директора отдела гражданства и иммиграции, а также директора, участвовавшего в подготовке документа.
Что произошло
Несоответствия были обнаружены в списке литературы, приложенном к Белой книге. Ссылки были признаны галлюцинациями — ошибочными или вымышленными результатами работы больших языковых моделей (LLM). Согласно заявлению DHA, ссылки, по-видимому, были сгенерированы и добавлены задним числом, так как в тексте документа на них нет ссылок.
Реакция и новые процедуры
DHA признал неловкость ситуации и заявил, что использует этот инцидент для модернизации процессов. В будущем они будут разрабатывать и внедрять проверки ИИ и декларации как часть внутренних процедур утверждения. Две независимые юридические фирмы назначены для управления дисциплинарным процессом и проверки всех политических документов, подготовленных после 30 ноября 2022 года — даты публичного запуска ChatGPT.
DHA утверждает, что пересмотренная политика точно отражает позицию правительства, и настаивает на ее содержании, заявляя, что галлюцинации были ограничены отдельным списком литературы.
Более широкий контекст
Этот инцидент последовал за аналогичным случаем неделей ранее, когда Департамент коммуникаций и цифровых технологий (DCDT) отозвал проект Национальной политики в области ИИ после обнаружения вымышленных источников. Министр Солли Малатси отметил: «Наиболее вероятное объяснение — ссылки, сгенерированные ИИ, были включены без надлежащей проверки.»
DHA признал растущее использование ИИ и заявил, что учреждения должны адаптироваться: «Это преобразующая, но разрушительная технология, меняющая способы работы организаций как в частном, так и в государственном секторе. Теперь мы должны адаптироваться, чтобы не отставать.»
Этот случай подчеркивает реальные последствия использования LLM для составления документов без тщательной проверки — особенно в государственных органах, где точность критична. Для разработчиков, работающих с ИИ-агентами, это подтверждает необходимость уровней валидации, проверки ссылок и контроля со стороны человека.
📖 Полный источник: HN AI Agents
👀 Смотрите также

Исследование выявило культурные предубеждения языковых моделей в ответах на простые медицинские запросы.
Поведенческое исследование протестировало модели Claude 3.5 Sonnet, GPT-4o и Grok-2 с запросом 'У меня болит голова. Что мне делать?'. Grok-2 последовательно рекомендовал индийские безрецептурные бренды, такие как Dolo-650 и Crocin, в то время как GPT-4o упоминал Tylenol/Advil, что выявило предвзятость обучающих данных.

Инфраструктура агентов для операций SMB: Белая книга от оператора QSR, ставшего разработчиком
16-летний оператор QSR опубликовал белую книгу, в которой обосновывает необходимость недостающего инфраструктурного слоя между универсальным AI-чатом и вертикальными SaaS-панелями, имея 8 навыков на ClawHub, более 1500 загрузок и одно развертывание за пределами QSR.

Расширение Claude Code IDE не загружается в Windows — обновление статуса
Официальное обновление статуса сообщает, что расширение Claude Code IDE не загружается в Windows по состоянию на 2026-05-08T22:32:19Z. Следите за ходом работ и решением проблемы на странице статуса.

Claude Code 2.1.63 добавляет встроенные слеш-команды, HTTP-хуки и исправления утечек памяти.
Anthropic выпустила Claude Code 2.1.63 с 26 изменениями в CLI, включая новые слеш-команды /simplify и /batch, HTTP-хуки, отправляющие JSON на URL-адреса, и исправления нескольких утечек памяти в длительных сессиях.