Claude d'Anthropic mène 80 000 entretiens structurés en alternative aux enquêtes

Anthropic a mené une expérience utilisant Claude pour réaliser des entretiens structurés avec environ 80 000 utilisateurs dans plus de 150 pays et environ 70 langues. Au lieu d'enquêtes statiques traditionnelles, ils ont déployé le LLM pour fonctionner à la fois comme intervieweur et analyste dans une approche de collecte de données conversationnelle.

Détails clés de l'expérience

La mise en œuvre a permis à Claude de poser des questions de suivi dynamiques basées sur les réponses des utilisateurs plutôt que d'utiliser des questions d'enquête prédéterminées. Cela a permis au système de capturer non seulement des réponses prédéfinies, mais aussi le "pourquoi" derrière les réponses. Après avoir collecté les données, Claude a automatiquement structuré et regroupé les réponses par objectifs, préoccupations et sentiment, avec des examinateurs humains assurant la supervision.

Résultats rapportés par les utilisateurs

• 81 % des participants ont déclaré que l'IA les a aidés à progresser vers leurs objectifs
• Les améliorations de productivité étaient l'avantage le plus courant (~32 %), en particulier dans le codage et le travail technique
• Le soutien cognitif (~17 %) pour le raisonnement et la résolution de problèmes
• L'assistance à l'apprentissage (~10 %) avec l'IA servant de tuteur

Différences méthodologiques

Cette approche représente un changement de la collecte de données statique vers la collecte d'informations conversationnelles. Le modèle adapte les questions en fonction des réponses individuelles plutôt que de suivre un format de questionnaire fixe. Les réponses sont automatiquement regroupées en catégories comme les objectifs, les préoccupations et le sentiment, puis examinées par des humains pour le contrôle de la qualité.

Le matériel source soulève des questions sur la possibilité que cette approche d'entretien dirigée par l'IA puisse remplacer les enquêtes traditionnelles et sur les nouveaux biais qu'elle pourrait introduire et que les chercheurs n'ont pas encore pleinement considérés.