O Claude da Anthropic Realiza 80 Mil Entrevistas Estruturadas como Alternativa a Pesquisas

A Anthropic conduziu um experimento usando o Claude para realizar entrevistas estruturadas com aproximadamente 80.000 usuários em mais de 150 países e cerca de 70 idiomas. Em vez de pesquisas estáticas tradicionais, eles implantaram o LLM para funcionar tanto como entrevistador quanto analista em uma abordagem de coleta de dados conversacional.

Detalhes Principais do Experimento

A implementação fez com que o Claude fizesse perguntas de acompanhamento dinâmicas com base nas respostas dos usuários, em vez de usar perguntas de pesquisa predeterminadas. Isso permitiu que o sistema capturasse não apenas respostas predefinidas, mas também o "porquê" por trás das respostas. Após coletar os dados, o Claude estruturou e agrupou automaticamente as respostas por objetivos, preocupações e sentimento, com revisores humanos fornecendo supervisão.

Resultados Relatados pelos Usuários

• 81% dos participantes relataram que a IA os ajudou a avançar em direção aos seus objetivos
• Melhorias de produtividade foram o benefício mais comum (~32%), particularmente em codificação e trabalho técnico
• Suporte cognitivo (~17%) para raciocínio e resolução de problemas
• Assistência de aprendizado (~10%) com a IA atuando como tutor

Diferenças Metodológicas

Esta abordagem representa uma mudança da coleta de dados estática para a coleta de insights conversacionais. O modelo adapta as perguntas com base nas respostas individuais, em vez de seguir um formato de questionário fixo. As respostas são automaticamente agrupadas em categorias como objetivos, preocupações e sentimento, e então revisadas por humanos para controle de qualidade.

O material fonte levanta questões sobre se essa abordagem de entrevista liderada por IA poderia substituir pesquisas tradicionais e quais novos vieses ela pode introduzir que os pesquisadores ainda não consideraram totalmente.