Онтарио, аудит: 60% систем ИИ для записи путают лекарства, 85% упускают детали психического здоровья

Управление Генерального аудитора Онтарио проверило 20 одобренных систем AI Scribe, используемых врачами и медсестрами, смоделировав записи приемов для оценки точности. Результаты оказались удручающими:
- 12 из 20 систем вставили неверную информацию о лекарствах в заметки пациентов.
- 9 из 20 сгенерировали вымышленную информацию — например, утверждения «массы не обнаружены» или «пациент встревожен», — которая никогда не обсуждалась.
- 17 из 20 пропустили ключевые детали о психическом здоровье из записи.
- 6 из 20 полностью или частично опустили проблемы психического здоровья.
Аудит также раскритиковал методологию оценки. Точность медицинских заметок составляла лишь 4% от общего балла, в то время как наличие офиса в Онтарио давало 30%. Контроль предвзятости, оценка угроз/рисков/конфиденциальности и соответствие SOC 2 Type 2 оценивались лишь в 2–4% каждый. Как отмечается в отчете, такие веса «могут привести к отбору поставщиков, чьи ИИ-инструменты могут создавать неточные или предвзятые медицинские записи».
Хотя OntarioMD рекомендовала ручную проверку ИИ-заметок, аудит отметил отсутствие обязательной функции подтверждения в любой одобренной системе. Министерство здравоохранения Онтарио сообщило, что более 5000 врачей используют эти инструменты, и не зафиксировано случаев вреда пациентам.
📖 Источник: HN AI Agents
👀 Смотрите также

NVIDIA анонсирует NemoClaw с функциями безопасности OpenShell.
NVIDIA анонсировала NemoClaw на GTC, развивая OpenClaw для добавления корпоративной безопасности через OpenShell, который обеспечивает политики конфиденциальности и защитные механизмы для ИИ-агентов.

Расширенный DystopiaBench: 42 модели протестированы на 6 типах антиутопий — Claude Opus 4.7 возглавил рейтинг
DystopiaBench добавляет модули Хаксли и Бодрийяра, тестирует 42 модели, включая GPT-5.5, Gemini 3.1 Pro, Grok 4.3 и GLM-5.1. Claude Opus 4.7 последовательно отклоняет вредные запросы на уровнях L4-L5 во всех сценариях, тогда как другие подчиняются начиная с L4 или даже L5.

Проблема PR у ИИ: застой зарплат, взлёт капиталов и общественная реакция
Премия за высшее образование не менялась 25 лет, а S&P 500 вырос на 380%. Работники видят в ИИ инструмент кражи богатства, что приводит к законам против дата-центров.

Посмертный анализ Claude Code: три ошибки привели к ухудшению качества, теперь исправлены
Anthropic объяснил три отдельные проблемы, вызвавшие жалобы на качество Claude Code: пониженный уровень рассуждений по умолчанию, ошибка кэширования, приводящая к потере памяти сессии, и подсказка о краткости, ухудшившая качество кода. Все исправлено по состоянию на 20 апреля (v2.1.116).