Anthropics Claude führt 80.000 strukturierte Interviews als Umfragealternative durch

Anthropic führte ein Experiment durch, bei dem Claude strukturierte Interviews mit etwa 80.000 Nutzern in über 150 Ländern und etwa 70 Sprachen durchführte. Anstatt traditioneller statischer Umfragen setzten sie das LLM ein, um sowohl als Interviewer als auch als Analyst in einem konversationellen Datenerfassungsansatz zu fungieren.

Wichtige Details aus dem Experiment

Die Umsetzung ließ Claude dynamische Folgefragen basierend auf Nutzerantworten stellen, anstatt vorgegebene Umfragefragen zu verwenden. Dies ermöglichte es dem System, nicht nur vordefinierte Antworten, sondern auch das „Warum“ hinter den Antworten zu erfassen. Nach der Datensammlung strukturierte und gruppierte Claude die Antworten automatisch nach Zielen, Bedenken und Stimmungen, wobei menschliche Prüfer die Aufsicht übernahmen.

Berichtete Nutzerergebnisse

• 81 % der Teilnehmer gaben an, dass KI ihnen half, ihre Ziele zu erreichen
• Produktivitätssteigerungen waren der häufigste Vorteil (~32 %), insbesondere bei Programmier- und technischen Arbeiten
• Kognitive Unterstützung (~17 %) für logisches Denken und Problemlösung
• Lernunterstützung (~10 %) mit KI als Tutor

Methodische Unterschiede

Dieser Ansatz stellt einen Wechsel von der statischen Datenerfassung zur konversationellen Einsichtssammlung dar. Das Modell passt Fragen basierend auf individuellen Antworten an, anstatt einem festen Fragebogenformat zu folgen. Antworten werden automatisch in Kategorien wie Ziele, Bedenken und Stimmung gruppiert und dann von Menschen zur Qualitätskontrolle überprüft.

Das Quellenmaterial wirft Fragen auf, ob dieser KI-gesteuerte Interviewansatz traditionelle Umfragen ersetzen könnte und welche neuen Verzerrungen er einführen könnte, die Forscher noch nicht vollständig berücksichtigt haben.