스탠포드 연구: 법학 교수들이 동료보다 AI 답변을 75% 더 선호

줄리안 니아코 교수가 이끄는 스탠포드 로스쿨 연구에 따르면, 법학 교수들은 학생 질문에 대한 AI 생성 답변을 동료 강사가 작성한 답변보다 압도적으로 선호하는 것으로 나타났습니다. 미국 16개 로스쿨에서 진행된 약 3,000건의 익명 비교 평가에서 AI 답변은 동료 작성 답변과의 대결에서 75%의 승률을 기록했습니다.

연구 설계 및 결과

법학 교수, AI 답변을 동료보다 선호라는 제목의 이 연구는 계약법에 초점을 맞췄습니다. 참가자들은 학생들이 수업 후나 면담 시간에 물을 법한 대표적인 질문 40개를 만들었습니다. 교수들은 자신의 답변을 작성한 후, AI인지 다른 교수인지 알 수 없는 상태에서 응답을 평가했습니다. AI 시스템은 연구에서 최고의 인간 강사와 비슷한 성능을 보였습니다.

주요 발견:

• AI는 동료 답변과의 1:1 비교에서 75% 승률 기록
• AI 응답은 3.5%만이 교육적으로 유해하다고 표시됨
• 동료 작성 답변은 12%가 유해하다고 표시됨
• 평가는 사실 암기가 아닌 미묘한 법적 추론에 초점

법학 교육에 미치는 영향

“이 연구는 법학 교육에서 AI의 역할에 대한 중요한 가정에 도전합니다,”라고 니아코는 말했습니다. “우리는 법이 단순한 사실 암기가 아니라 판단, 미묘한 추론, 모호함을 탐색하는 능력을 요구하기 때문에 법을 선택했습니다.”

연구는 또한 상용 튜터링 시스템과 구글의 노트북LM 등 특정 AI 모델을 조사했으며, 다양한 성능 수준을 발견했습니다. 맥락 제한이 AI 응답에 영향을 미친 경우에도 교수들은 여전히 인간이 쓴 대안보다 AI를 선호하는 경우가 많았습니다.

예일 로스쿨의 공동 저자 사라스 상가는 “AI가 테스트되는 대부분의 분야에는 정답이 있습니다. 하지만 법학에는 종종 정답이 없습니다. 반대되는 두 주장 모두 훌륭할 수 있습니다,”라고 언급했습니다.

이전 AI 평가는 명확한 정답이 있는 주제에 초점을 맞춘 반면, 법적 추론은 경쟁 주장과 방어 가능한 결론에 대한 신중한 분석을 요구한다는 점에서 이 연구는 특히 주목할 만합니다.

주의사항 및 미해결 과제

니아코는 전면적인 도입에 대해 경고했습니다: “이러한 도구를 학생 학습을 가장 효과적으로 개선하기 위해 어떻게 구현할지는 여전히 미해결 과제입니다.” 연구는 답변 품질을 평가했지만, 환각, 과의존, 비판적 사고 능력 저하와 같은 구현 문제는 여전히 남아 있다고 지적했습니다.