Anthropic의 Claude, 설문 대안으로 8만 건의 구조화된 인터뷰 진행

Anthropic은 Claude를 사용하여 150개 이상의 국가와 약 70개 언어로 약 80,000명의 사용자와 구조화된 인터뷰를 수행하는 실험을 진행했습니다. 기존의 정적 설문조사 대신, LLM을 배치하여 대화형 데이터 수집 방식에서 인터뷰어와 분석가 역할을 모두 수행하도록 했습니다.

실험의 주요 세부사항

구현 과정에서 Claude는 미리 정해진 설문 질문을 사용하는 대신 사용자 응답에 따라 동적인 후속 질문을 던졌습니다. 이를 통해 시스템은 미리 정의된 답변뿐만 아니라 응답 배후의 "이유"도 포착할 수 있었습니다. 데이터 수집 후, Claude는 응답을 목표, 우려사항, 감정별로 자동으로 구조화하고 군집화했으며, 인간 검토자가 감독을 제공했습니다.

보고된 사용자 결과

• 참가자의 81%가 AI가 목표 달성에 도움이 되었다고 보고함
• 생산성 향상(~32%)이 가장 흔한 혜택으로, 특히 코딩 및 기술 작업에서 두드러짐
• 추론 및 문제 해결을 위한 인지 지원(~17%)
• AI가 튜터 역할을 하는 학습 지원(~10%)

방법론적 차이점

이 접근법은 정적 데이터 수집에서 대화형 통찰력 수집으로의 전환을 나타냅니다. 모델은 고정된 설문지 형식을 따르기보다는 개별 응답에 따라 질문을 조정합니다. 응답은 목표, 우려사항, 감정과 같은 범주로 자동 군집화된 후, 품질 관리를 위해 인간이 검토합니다.

이 소스 자료는 이러한 AI 주도 인터뷰 방식이 기존 설문조사를 대체할 수 있는지, 그리고 연구자들이 완전히 고려하지 않은 새로운 편향을 초래할 수 있는지에 대한 질문을 제기합니다.