Forscher nutzen Claude Projects für akademische Scoping Reviews: Stärken und Grenzen

Claude als Forschungsassistent in der akademischen Überprüfung

Forscher führten eine peer-reviewed Scoping-Review durch, die in Artificial Intelligence in Education (Emerald, Open Access) veröffentlicht wurde, und nutzten dabei Claude Projects, um 39 qualitative Interviewstudien aus 20 Ländern darüber zu analysieren, wie Studierende generative KI in der Hochschulbildung erleben.

Was gut funktionierte

• Querverweisung von Themen zwischen Papieren aus strukturierten Tabellendaten
• Ergänzung des menschlichen Gedächtnisses über einen großen Datensatz hinweg
• Vorschläge von Analysekategorien, die die Forscher nicht in Betracht gezogen hatten
• Funktion als „kritischer Peer“ für iterative thematische Analyse

Was nicht gut funktionierte

• Frühe CSV-Analysen waren ungenau und unvollständig
• Anfällig für Halluzinationen, wenn Ergebnisse nicht rigoros anhand der Quelltabelle überprüft wurden
• Konnte „faul“ sein und Anfragen nicht vollständig ausführen
• Sychophantische Antworten erforderten explizite Aufforderungen zur Kritik
• Die Lernkurve bedeutete, dass es insgesamt nicht effizienter war (Produktivitätsparadoxon)

Implementierungsdetails

Die Forscher luden aufgrund von Urheberrechts- und ethischen Überlegungen keine vollständigen Papiere hoch. Stattdessen luden sie ihre eigenen strukturierten Notizen in Claude Projects hoch. Die Leistung verbesserte sich erheblich, als .xls-Unterstützung hinzugefügt wurde und erneut mit Sonnet 3.7.

Die Forscher kamen zu dem Schluss, dass Claude als Forschungsassistent nützlich war, aber die gleiche Aufsicht erforderte, die man einem kompetenten, aber unzuverlässigen Kollegen geben würde. Jede Ausgabe musste anhand der Originaldaten überprüft werden. Sie planen, es erneut zu verwenden, aber nur, weil sie jetzt seine spezifischen Fehlermodi verstehen.

Das Papier ist unter der CC BY 4.0-Lizenz unter https://doi.org/10.1108/AIIE-06-2025-0151 als Open Access verfügbar.