El Claude de Anthropic Realiza 80,000 Entrevistas Estructuradas como Alternativa a las Encuestas

Anthropic realizó un experimento utilizando a Claude para llevar a cabo entrevistas estructuradas con aproximadamente 80,000 usuarios en más de 150 países y alrededor de 70 idiomas. En lugar de encuestas estáticas tradicionales, desplegaron el LLM para funcionar tanto como entrevistador como analista en un enfoque de recolección de datos conversacional.

Detalles Clave del Experimento

La implementación hizo que Claude hiciera preguntas de seguimiento dinámicas basadas en las respuestas de los usuarios, en lugar de usar preguntas de encuesta predeterminadas. Esto permitió al sistema capturar no solo respuestas predefinidas, sino también el "por qué" detrás de las respuestas. Después de recopilar los datos, Claude estructuró y agrupó automáticamente las respuestas por objetivos, preocupaciones y sentimiento, con revisores humanos proporcionando supervisión.

Resultados Reportados por los Usuarios

• 81% de los participantes reportaron que la IA les ayudó a avanzar hacia sus objetivos
• Las mejoras en productividad fueron el beneficio más común (~32%), particularmente en codificación y trabajo técnico
• Soporte cognitivo (~17%) para razonamiento y resolución de problemas
• Asistencia de aprendizaje (~10%) con la IA sirviendo como tutor

Diferencias Metodológicas

Este enfoque representa un cambio de la recolección de datos estática a la recopilación de información conversacional. El modelo adapta las preguntas basándose en las respuestas individuales en lugar de seguir un formato de cuestionario fijo. Las respuestas se agrupan automáticamente en categorías como objetivos, preocupaciones y sentimiento, luego son revisadas por humanos para control de calidad.

El material fuente plantea preguntas sobre si este enfoque de entrevistas dirigido por IA podría reemplazar las encuestas tradicionales y qué nuevos sesgos podría introducir que los investigadores no hayan considerado completamente.