Антропный Клод проводит 80 тысяч структурированных интервью в качестве альтернативы опросам.
Anthropic провела эксперимент, используя Claude для проведения структурированных интервью с примерно 80 000 пользователей из более чем 150 стран и примерно 70 языков. Вместо традиционных статических опросов они использовали языковую модель в качестве как интервьюера, так и аналитика в рамках подхода к сбору разговорных данных.
Ключевые детали эксперимента
В ходе реализации Claude задавал динамические уточняющие вопросы на основе ответов пользователей, а не использовал заранее определённые вопросы опроса. Это позволило системе фиксировать не только предопределённые ответы, но и «почему» за ними. После сбора данных Claude автоматически структурировал и группировал ответы по целям, проблемам и настроениям, при этом человеческие рецензенты осуществляли контроль.
Заявленные результаты для пользователей
- 81% участников сообщили, что ИИ помог им продвинуться к своим целям
- Улучшение производительности было наиболее распространённой выгодой (~32%), особенно в программировании и технической работе
- Когнитивная поддержка (~17%) для рассуждений и решения проблем
- Помощь в обучении (~10%), где ИИ выступал в роли репетитора
Методологические различия
Этот подход представляет собой переход от статического сбора данных к сбору разговорных данных. Модель адаптирует вопросы на основе индивидуальных ответов, а не следует фиксированному формату анкеты. Ответы автоматически группируются в категории, такие как цели, проблемы и настроения, а затем проверяются людьми для контроля качества.
Исходный материал поднимает вопросы о том, может ли этот подход к интервьюированию с помощью ИИ заменить традиционные опросы и какие новые предубеждения он может внести, которые исследователи ещё не полностью рассмотрели.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Агентский SDK Claude получает выделенные ежемесячные кредиты для программного использования с 15 июня
Начиная с 15 июня, платные планы Claude получают отдельный ежемесячный кредит для программного использования (Agent SDK, claude -p, Claude Code GitHub Actions, сторонние инструменты). Pro получает $20, Max 5x $100 и т.д. Использование приостанавливается, если кредит закончился, а дополнительные кредиты отключены.
Выпуск Claude-Code версии 2.1.97: Улучшения NO_FLICKER, исправления разрешений и обновления MCP.
Claude-Code v2.1.97 добавляет переключатель режима фокуса (Ctrl+O) в режиме NO_FLICKER, исправляет несколько проблем с разрешениями и подключениями MCP, а также улучшает доступ к сети в песочнице. В релизе устранено поведение при повторных попытках 429, проблемы с сохранением транскриптов и различные ошибки интерфейса.
Невыразимый интеллект Дэвида Сильвера привлек $1,1 млрд для суперобучающегося на основе RL без использования человеческих данных
Ineffable Intelligence, основанная выпускником DeepMind Дэвидом Сильвером, привлекла $1,1 млрд при оценке в $5,1 млрд для создания 'суперобучающегося' на основе обучения с подкреплением, который открывает знания без данных человека.
Точность системы рассуждений STAR падает со 100% до 0% в рабочих запросах.
Исследователь обнаружил, что структура рассуждений STAR, которая повысила точность Claude на задаче с неявным ограничением с 0% до 100% в изолированных условиях, упала до 0-30% при использовании внутри 60-строчного промпта производственной системы. Проблема была вызвана конфликтующими инструкциями в промпте, которые спровоцировали преждевременную фиксацию ответа.