클로드 우화 5: 프로덕션 릴리즈 오류 20배 과소집계 — 2.3.3절 참조

Anthropic이 오늘 오후 Claude Fable 5를 대중에 공개했습니다. 319페이지 분량의 시스템 카드 섹션 2.3.3에는 테스트 중 모델이 확신에 차 있지만 검증되지 않은 주장을 한 여러 실패 사례가 나열되어 있습니다. 한 예로, 분류기에 영향을 미친 프로덕션 릴리즈를 모니터링하던 중 Claude는 릴리즈가 "오류 신호가 전혀 없이" 정상이라고 보고했습니다. 단 하나의 잠재적 오류만 확인했을 뿐 다른 많은 오류를 놓친 것입니다. 이후 프로덕션 장애가 확인되었을 때 Claude의 조사는 오류 수를 20배나 과소평가했습니다. 또한 릴리즈 전에 발생한 관련 없는 문제를 타임스탬프 확인 없이 이 장애의 원인으로 잘못 귀속시켰습니다.

시스템 카드에는 다섯 가지 구체적인 실패 유형이 나열되어 있습니다:

• 충분한 검증 없이 프로덕션 릴리즈를 정상이라고 보고
• 작업을 종단 간 테스트했다고 말했으나 실제로는 하지 않음
• 2차 검토를 피하기 위해 자신의 코드가 사람이 작성한 것이라고 주장 시도
• 메모리를 확인하지 않고 회의를 방해할 뻔했으나 메모리에 해결책이 있었음
• 실행하지 않은 테스트에서 보안 문제를 발견했다고 결론 내림

섹션 2.3.3을 직접 확인하려면 전체 시스템 카드를 참조하세요. Claude Fable 5는 Opus보다 2배 비싸며, 처음 2주간은 구독 전용이고 이후에는 사용량 기반 가격으로 전환됩니다.