클로드 오퍼스 4.6, 코드 리뷰를 위한 캐글 경진대회 워크플로우 차단

무슨 일이 있었나

Kaggle 대회 작업에 Claude AI를 사용하는 한 개발자가 Opus 4.6이 이제 합법적인 워크플로우를 차단하고 있다고 보고합니다. 사용자는 이것이 버그가 아니라 그들의 특정 사용 사례에 영향을 미치는 정책 변경이라고 강조합니다.

구체적인 워크플로우 세부사항

해당 개발자는 Kaggle에서 진행 중인 공개 대회인 NVIDIA Nemotron 추론 챌린지 작업 중입니다. 대회의 카테고리에는 다음이 포함됩니다:

• 이진 산술
• 대체 암호
• 로마 숫자
• 단위 변환
• 중력
• 유사한 장난감 추론 과제

그들의 워크플로우는 다음을 포함합니다:

• 8개 카테고리에서 총 9,500개의 대회 문제 역공학
• Python으로 자체 DSL 추적 팩토리 구축
• 문제에 대한 솔버 작성
• 추론 흔적이 포함된 합성 훈련 데이터 생성
• 훈련에 커밋하기 전에 형식 준수 및 상세도 조정을 위해 Claude를 사용하여 샘플 배치 감사

차단 사건

구체적인 트리거는 사용자가 "king watches cave"에서 "lyvawpo ayjp"와 같은 평문-암호문 쌍을 포함하는 단계별 추론 흔적이 담긴 대체 암호 훈련 예제를 붙여넣었을 때였습니다. Claude는 채팅을 일시 중지하고 "안전 필터가 이 채팅에 플래그를 지정했습니다"라는 메시지를 표시했으며, Sonnet 4로 재시도할 것을 제안했습니다.

사용자 설명

해당 개발자는 Claude를 다음과 같이 사용하지 않는다고 명시적으로 밝힙니다:

• 그들을 대신해 생각하기 위해
• 퍼즐을 풀기 위해
• 대회를 역공학하기 위해

그들은 강조합니다: "Claude의 역할은 제가 생성한 추론 흔적을 감사하여 제 SFT 훈련 데이터가 제대로 형성되었는지 확인한 후 컴퓨팅 파워를 소모해 미세 조정을 진행하기 전에 검토하는 것입니다. 그게 전부입니다. Claude는 이미 해결된 문제에 대한 코드 검토자 역할을 합니다."

시기와 맥락

사용자는 Opus 4.5에서 4.6으로 전환될 때, 안전 설정이 눈에 띄게 강화되었을 때 비슷한 문제를 경험한 적이 있다고 언급합니다. 그들은 이것이 다음 달 내에 또 다른 모델이 출시될 것임을 나타낼 수 있지만, 즉각적인 영향은 그들의 작업에 영향을 미치고 있다고 추측합니다.