교수, 클로드 코드로 AI 탐지 편향 게임 제작하다

프로젝트 개요

영국 대학의 정교수가 학생 제출물에 AI 탐지 도구를 사용하는 경험을 시뮬레이션하는 브라우저 기반 게임 'Flagged'를 개발했습니다. 이 교수는 교육 분야 AI 탐지를 연구하며, 플레이어가 시뮬레이션된 학생들에게 영향을 미치는 결정을 내릴 때 추상적인 오탐률 통계가 어떻게 구체화되는지 보여주기 위해 이 대화형 데모를 만들었습니다.

게임 메커니즘

플레이어는 대학이 AI 탐지 도구로 열두 건의 학생 제출물을 검사한 조교수 역할을 맡습니다. 각 제출물은 확률 점수와 함께 반환됩니다. 플레이어는 해당 제출물을 조사 대상으로 표시할지 통과시킬지 결정해야 합니다. 선택적으로 각 학생의 파일을 열어 전공, 배경, 상황에 대한 정보를 확인한 후 결정할 수 있습니다.

핵심 학습 결과는 플레이어가 탐지 점수만 볼 때와 학생 파일을 읽은 후 내리는 결정이 다르다는 점을 발견할 때 나타납니다. 교수가 지적했듯이: "모든 표시는 실제 사람에게 영향을 미칩니다."

기술 구현

전체 프로젝트는 Claude Code로 구축되었으며, 바닐라 JavaScript와 CSS가 포함된 단일 HTML 파일로 구성됩니다. 프레임워크나 종속성이 없습니다. Claude Code는 교수의 디자인과 게임 로직을 바탕으로 모든 코드를 작성했습니다.

개발 통찰

교수에 따르면 Claude Code 사용에서 가장 어려운 부분은 코딩 자체가 아니라, 게임이 플레이어를 불편하게 만들어야 한다는 점을 Claude가 이해하도록 하는 것이었습니다. 교수는 Claude가 결과를 완화하거나 안심시키는 언어를 추가하려는 경향에 반복적으로 맞서야 했습니다. 교수는 강조했습니다: "학생을 잘못 표시할 때 안심시켜주는 언어는 전혀 없어야 합니다."

교육적 맥락

이 게임은 AI 탐지 도구가 영어 비원어민에게 최대 61.3%의 오탐률을 보인다는 연구 결과를 다룹니다. 교수는 이 통계가 우려스럽지만, 사람들이 직접 의사 결정 과정을 경험하기 전에는 충분히 공감되지 않는다고 지적했습니다.

게임은 라이브 상태이며 https://samillingworth.itch.io/flagged에서 무료로 플레이할 수 있습니다.