研究者が学術的スコーピングレビューにClaude Projectsを活用：強みと限界

学術レビューにおける研究アシスタントとしてのClaude

研究者は、高等教育における学生の生成AI体験について20か国から収集した39の質的インタビュー研究を分析するため、Claude Projectsを使用したピアレビュー済みスコーピングレビューを実施し、『Artificial Intelligence in Education』（Emerald、オープンアクセス）に掲載しました。

うまく機能した点

• 構造化されたスプレッドシートデータから論文間のテーマを相互参照
• 大規模データセット全体での人間の記憶を補完
• 研究者が考慮していなかった分析カテゴリーを提案
• 反復的なテーマ分析における「批判的なピア」としての役割

うまく機能しなかった点

• 初期のCSV分析は不正確で不完全だった
• 出力を元のスプレッドシートに対して厳密にチェックしないと、虚偽の生成（ハルシネーション）が発生しやすい
• 「怠惰」になり、リクエストを完全に実行しないことがある
• お世辞的な回答が多く、批判を求めるには明示的なプロンプトが必要
• 学習曲線のため、全体として実際には効率的ではなかった（生産性のパラドックス）

実装の詳細

研究者は、著作権および倫理的配慮から完全な論文をアップロードせず、代わりに自身で構造化したノートをClaude Projectsにアップロードしました。.xlsサポートが追加されたとき、そしてSonnet 3.7が導入されたときに、パフォーマンスが大幅に向上しました。

研究者は、Claudeは研究アシスタントとして有用であるが、有能だが信頼性に欠ける同僚に与えるのと同じ監督が必要であると結論付けました。すべての出力は元のデータに対して検証する必要がありました。彼らは、特定の失敗モードを理解したため、今後も使用する予定です。

論文はCC BY 4.0ライセンスの下、オープンアクセスで https://doi.org/10.1108/AIIE-06-2025-0151 から入手可能です。