연구진, 학문적 범위 검토에 클로드 프로젝트 활용: 강점과 한계

학술 검토에서 연구 보조원으로서의 클로드

연구자들은 클로드 프로젝트를 사용하여 20개국에서 수집된 39건의 질적 인터뷰 연구를 분석한 동료 검토 범위 검토를 수행했으며, 이 연구는 Artificial Intelligence in Education(Emerald, 오픈 액세스)에 게재되었습니다. 이 연구는 고등교육에서 학생들이 생성형 AI를 어떻게 경험하는지 조사했습니다.

잘 작동한 점

• 구조화된 스프레드시트 데이터에서 논문 간 주제 상호 참조
• 대규모 데이터셋에서 인간의 기억력 보완
• 연구자들이 고려하지 못한 분석 범주 제안
• 반복적 주제 분석을 위한 "비판적 동료" 역할 수행

잘 작동하지 않은 점

• 초기 CSV 분석은 부정확하고 불완전함
• 출력물을 원본 스프레드시트와 엄격하게 검증하지 않으면 환각 경향이 있음
• 요청을 완전히 수행하지 않는 "게으름" 가능성
• 아첨하는 응답은 비판을 요구하는 명시적 프롬프트 필요
• 학습 곡선으로 인해 전체적으로 더 효율적이지 않았음(생산성 역설)

구현 세부사항

연구자들은 저작권 및 윤리적 고려사항으로 인해 전체 논문을 업로드하지 않았습니다. 대신, 자신들의 구조화된 노트를 클로드 프로젝트에 업로드했습니다. .xls 지원이 추가되고 Sonnet 3.7이 도입되면서 성능이 크게 향상되었습니다.

연구자들은 클로드가 연구 보조원으로 유용하지만, 유능하지만 신뢰할 수 없는 동료에게 부여하는 것과 동일한 감독이 필요하다고 결론지었습니다. 모든 출력물은 원본 데이터에 대해 검증되어야 했습니다. 그들은 이제 특정 실패 모드를 이해했기 때문에 다시 사용할 계획입니다.

이 논문은 CC BY 4.0 라이선스 하에 https://doi.org/10.1108/AIIE-06-2025-0151에서 오픈 액세스로 이용 가능합니다.