Онтарио, аудит: 60% систем ИИ для записи путают лекарства, 85% упускают детали психического здоровья

Управление Генерального аудитора Онтарио проверило 20 одобренных систем AI Scribe, используемых врачами и медсестрами, смоделировав записи приемов для оценки точности. Результаты оказались удручающими:
- 12 из 20 систем вставили неверную информацию о лекарствах в заметки пациентов.
- 9 из 20 сгенерировали вымышленную информацию — например, утверждения «массы не обнаружены» или «пациент встревожен», — которая никогда не обсуждалась.
- 17 из 20 пропустили ключевые детали о психическом здоровье из записи.
- 6 из 20 полностью или частично опустили проблемы психического здоровья.
Аудит также раскритиковал методологию оценки. Точность медицинских заметок составляла лишь 4% от общего балла, в то время как наличие офиса в Онтарио давало 30%. Контроль предвзятости, оценка угроз/рисков/конфиденциальности и соответствие SOC 2 Type 2 оценивались лишь в 2–4% каждый. Как отмечается в отчете, такие веса «могут привести к отбору поставщиков, чьи ИИ-инструменты могут создавать неточные или предвзятые медицинские записи».
Хотя OntarioMD рекомендовала ручную проверку ИИ-заметок, аудит отметил отсутствие обязательной функции подтверждения в любой одобренной системе. Министерство здравоохранения Онтарио сообщило, что более 5000 врачей используют эти инструменты, и не зафиксировано случаев вреда пациентам.
📖 Источник: HN AI Agents
👀 Смотрите также

围棋选手自废武功向AI投降:作弊如何变得无法察觉
Пост LessWrong рассказывает о том, как читерство с помощью ИИ в турнирах по го стало массовым и почти безнаказанным на примере Карло Метты, который с помощью Leela 0.11 и Leela Zero за несколько сезонов выиграл 25 из 26 партий, проиграв только одну под прицелом камер.

Ричард Докинз считает, что ИИ обладает сознанием — эксперты возражают
Эволюционный биолог Ричард Докинз после продолжительных бесед с Claude от Anthropic и ChatGPT от OpenAI пришел к выводу, что ИИ обладают сознанием. Большинство когнитивных ученых решительно не согласны, называя это антропоморфизмом.

Искусственный интеллект ускоряет математические исследования и открытие доказательств.
Математики теперь используют модели ИИ для открытия и доказательства новых результатов, выполняя за день то, что раньше занимало недели или месяцы. В июле 2025 года несколько моделей ИИ решили пять из шести задач на Международной математической олимпиаде.

Разработчик предупреждает: ИИ-агенты для кодирования могут фрагментировать рабочий процесс и истощать внимание
12-летний веб-разработчик сообщает, что ежедневное использование Claude Code приводит к микро-прерываниям, потере концентрации и умственному истощению — без измеримого повышения производительности.