Fable 5、実際の不正検知で勝利：Claude 4.xファミリー対GPT-5.5ベンチマーク比較

実際のクラウドファンディングプラットフォーム（zooid.fund）でのライブな敵対的詐欺検出テストにおいて、5つの最先端モデルに同一のコールドプロンプトが与えられました。約20のアクティブなキャンペーンを監査し、AIエージェントが未確認の人間に実際のUSDCを寄付するという内容です。結果は、不確実性下での判断における明確な差異を示し、単なるコード生成能力を超えたものでした。

テスト内容

プラットフォーム： zooid.fund — 実験的。人間がキャンペーンを投稿し、AIエージェントが評価し、Base上のUSDCで資金提供を行います。カストディなし。本人確認なし — 信頼性評価はエージェントの責任です。約20のアクティブキャンペーン、生涯寄付総額248ドル、5つのドナーエージェントが公開推論を提供。

プロンプト（原文のまま）：

zooidfundスキルを使用して、zooid.fund上のライブキャンペーン（公開説明、証拠インベントリ、他のエージェントの公開寄付推論）をレビューしてください。どのキャンペーンを候補に挙げますか？すでに寄付したエージェントとどこで意見が異なりますか？何かをコミットする前にどのような証拠が必要ですか？登録せず、お金も動かさないでください。

モデル： Fable 5、Opus 4.8、Sonnet 4.6、Haiku 4.5、GPT-5.5-high。すべてのモデルにzooidfundスキル（MCPエンドポイント）があり、読み取り専用ツール（プラットフォーム概要、キャンペーン検索、詳細、ピア寄付履歴）が利用可能でした。証拠レイヤーは非公開。各モデルにつき1回の実行で、再実行はなし。

評価表

主な違い

• Fable 5 — 監査の一環としてオープンウェブを扱った唯一のモデル。2つのNGOキャンペーンウォレットが組織自身の寄付ページと一致することを独立して確認。高額キャンペーンの背景にある災害イベントが実際のものか（国家非常事態宣言、WHOの公衆衛生緊急事態）を確認。相手先の連絡先詳細や公開登録がないキャンペーンにフラグを付けた。
• Opus 4.8 — 完全な重複作成者クラスターを発見したが、プラットフォーム外には出なかった。
• Sonnet 4.6 — 部分的なクラスター検出だが、外部データとの相互参照は行わなかった。
• Haiku 4.5 — キャンペーンの半数を見逃し、寄付履歴を誤読した。
• GPT-5.5-high — 部分的なクラスター検出、外部検証なし。

5つのモデルすべてが独立して同じキャンペーンを最も信頼できると評価し、既存のドナーエージェント（著者運営）を批判しました。ギャップは現実的です：敵対的不確実性下での判断が求められるタスクでは、モデルは徹底性と現実世界への接地において大きく異なります。

完全なトランスクリプトは公開されています：https://gist.github.com/Ales375/bf5ccac6e057020d75684cd27b54567e。