教授がClaude CodeでAI検出バイアスゲームを構築

プロジェクト概要

英国の大学の正教授が、学生の提出物にAI検出ツールを使用する体験をシミュレートするブラウザベースのゲーム「Flagged」を開発しました。この教授は教育におけるAI検出を研究しており、プレイヤーがシミュレートされた学生に影響を与える判断を下すことで、誤検知に関する抽象的な統計が具体的なものになる様子を示すインタラクティブなデモンストレーションを作成しました。

ゲームの仕組み

プレイヤーは、大学がAI検出ツールで12件の学生提出物をチェックした助教授の役割を担います。各提出物には確率スコアが表示されます。プレイヤーは、提出物を調査のためにフラグするか、合格とするかを決定しなければなりません。決定前に各学生のファイルを開くこともでき、そこには学生のプログラム、背景、状況に関する情報が含まれています。

重要な学習成果は、プレイヤーが学生のファイルを読んだ後と、検出スコアだけを見た場合とで異なる判断を下すことに気づく点です。教授は次のように述べています：「すべてのフラグは実在の人物に影響を与えます」

技術的な実装

プロジェクト全体はClaude Codeで構築され、バニラJavaScriptとCSSを使用した単一のHTMLファイルで構成されています。フレームワークや依存関係は一切ありません。Claude Codeは教授の設計とゲームロジックに基づいてすべてのコード行を記述しました。

開発の洞察

教授によると、Claude Codeを使用する上で最も難しかったのはコーディング自体ではなく、ゲームがプレイヤーに不快感を与える必要があることをClaudeに理解させることでした。教授は、Claudeが結果を和らげたり安心させる言葉を追加したりする傾向に対して繰り返し反論する必要がありました。教授は強調します：「学生を誤ってフラグした場合に安心させる言葉などない、というのがこのゲームの要点です」

教育的な文脈

このゲームは、AI検出ツールが非ネイティブ英語話者に対して最大61.3%の誤検知率を生み出すという研究結果に対処しています。教授は、この統計は懸念すべきものではあるが、人々が意思決定プロセスを直接体験するまでは「十分に実感されない」と指摘しています。

ゲームは公開されており、https://samillingworth.itch.io/flaggedで無料でプレイできます。