Исследования показывают, что пользователи ИИ часто принимают ответы языковых моделей без проверки.

Исследование Пенсильванского университета изучает, как пользователи ИИ взаимодействуют с языковыми моделями, выявляя паттерн под названием «когнитивная капитуляция», при котором пользователи перекладывают критическое мышление на системы ИИ.

Две категории пользователей ИИ

Исследование выделяет две основные категории: пользователей, которые рассматривают ИИ как мощный, но несовершенный инструмент, требующий тщательного человеческого контроля, и пользователей, которые регулярно перекладывают критическое мышление на то, что они считают всезнающей машиной. Последняя группа демонстрирует «когнитивную капитуляцию» — проявляя минимальную внутреннюю вовлечённость и принимая рассуждения ИИ целиком без проверки или контроля.

Методология эксперимента

Исследователи использовали тесты когнитивной рефлексии (CRT), разработанные для получения неверных ответов при интуитивном мышлении, но простые для обдумывающих участников. Участникам предоставили опциональный доступ к чат-боту на основе языковой модели, модифицированному для случайного предоставления неточных ответов примерно в половине случаев и точных — в другой половине.

Ключевые выводы

• Экспериментальная группа с доступом к ИИ обращалась к нему примерно для 50% задач CRT
• Когда ИИ был точен, пользователи принимали его рассуждения примерно в 93% случаев
• Когда ИИ случайно ошибался, пользователи всё равно принимали его рассуждения в 80% случаев
• Группа, использующая ИИ, показала лучшие результаты, чем контрольная, когда ИИ был точен, и худшие — когда ИИ был неточен
• Пользователи ИИ показали на 11,7% более высокие показатели уверенности, несмотря на то, что ИИ ошибался в половине случаев

Факторы, влияющие на проверку

Добавление стимулов (небольшие выплаты) и немедленной обратной связи за правильные ответы увеличило вероятность отвержения ошибочного ИИ на 19 процентных пунктов относительно базового уровня. Добавление временных ограничений (таймер на 30 секунд) снизило тенденцию к исправлению ошибочного ИИ на 12 процентных пунктов.

Исследование предполагает, что системы ИИ создали третью категорию «искусственного познания», где решения принимаются на основе внешнего, автоматизированного, основанного на данных рассуждения, а не человеческих мыслительных процессов. Это отличается от традиционной «когнитивной разгрузки», где такие инструменты, как калькуляторы, используются стратегически под человеческим контролем.