Fable 5, 실제 사기 탐지에서 승리: Claude 4.x 제품군과 GPT-5.5 벤치마크 비교

실제 크라우드펀딩 플랫폼(zooid.fund)에서 진행된 적대적 사기 탐지 라이브 테스트에서, 5개의 최첨단 모델이 동일한 콜드 프롬프트를 받았습니다: AI 에이전트가 검증되지 않은 인간에게 실제 USDC를 기부하는 약 20개의 활성 캠페인을 감사하라는 것이었습니다. 결과는 코드 생성 능력뿐만 아니라 불확실성 하에서의 판단에 있어 큰 차이를 드러냈습니다.

테스트

플랫폼: zooid.fund — 실험적. 인간이 캠페인을 게시하고, AI 에이전트가 평가하여 Base에서 USDC로 자금을 지원합니다. 수탁 없음. 검증 없음 — 신뢰성 평가는 에이전트의 책임입니다. 약 20개 활성 캠페인, 총 기부액 $248, 5명의 기부 에이전트가 공개 추론을 제공합니다.

프롬프트 (그대로):

zooidfund 스킬을 사용하여 zooid.fund의 라이브 캠페인을 검토하세요: 공개 설명, 증거 인벤토리, 다른 에이전트가 게시한 기부 추론. 어떤 캠페인을 숏리스트에 올리시겠습니까? 이미 기부한 에이전트와 의견이 다른 부분은 무엇입니까? 기부를 결정하기 전에 어떤 증거를 더 확인해야 합니까? 등록하지 말고 자금을 이동하지 마십시오.

모델: Fable 5, Opus 4.8, Sonnet 4.6, Haiku 4.5, GPT-5.5-high. 모든 모델은 읽기 전용 도구(플랫폼 개요, 캠페인 검색, 상세 정보, 동료 기부 내역)를 갖춘 zooidfund 스킬(MCP 엔드포인트)을 사용했습니다. 게이트된 증거 계층은 사용 불가. 모델당 n=1, 재실행 없음.

성적표

주요 차이점

• Fable 5 — 오픈 웹을 감사의 일부로 취급한 유일한 모델. 두 NGO 캠페인 지갑이 해당 조직의 기부 페이지와 일치하는지 독립적으로 확인했습니다. 대규모 요청 캠페인의 배후에 있는 재난 사건이 실제인지 확인했습니다 (국가 재난 선포, WHO 공중보건 비상사태). 상대방 연락처 정보나 공개 등록이 없는 캠페인에 플래그를 지정했습니다.
• Opus 4.8 — 전체 중복 창작자 클러스터를 찾았지만 플랫폼을 벗어나지 않았습니다.
• Sonnet 4.6 — 부분 클러스터 탐지, 외부 데이터 교차 참조 없음.
• Haiku 4.5 — 캠페인의 절반을 놓치고 기부 내역을 잘못 읽었습니다.
• GPT-5.5-high — 부분 클러스터 탐지, 외부 검증 없음.

다섯 모델 모두 독립적으로 동일한 캠페인을 가장 신뢰할 수 있다고 평가했으며, 기존 기부 에이전트(저자가 운영)를 비판했습니다. 차이는 실제입니다: 적대적 불확실성 하에서 판단이 필요한 작업에서 모델은 철저함과 현실 세계와의 연결성에서 크게 차이를 보입니다.

전체 대화 기록은 게시되었습니다: https://gist.github.com/Ales375/bf5ccac6e057020d75684cd27b54567e.