중국 AI 기업들, 클로드 대규모 증류 작업 상세히 밝혀

대규모 추출 작업

Anthropic의 보고서는 세 개의 중국 AI 기업인 DeepSeek, Moonshot AI, MiniMax의 체계적인 추출 작업을 기록하고 있습니다. 이 작업은 약 24,000개의 가짜 계정을 생성하고, 최대 20,000개의 계정을 동시에 실행하는 프록시 네트워크를 통해 Claude와 1,600만 건 이상의 교환을 수행하는 것을 포함했습니다.

구체적인 추출 방법

DeepSeek은 Claude에게 자신의 추론 과정을 단계별로 설명하게 한 후, 그 설명들을 훈련 데이터로 사용했습니다. 또한 중국 반체제 인사에 대한 정치적으로 민감한 질문에 답하도록 Claude를 유도하여 검열 회피 데이터를 구축했습니다. MiniMax는 1,300만 건 이상의 교환을 실행했으며, 새로운 Claude 모델이 출시된 지 24시간 이내에 해당 모델로 전환했습니다.

사용자 안전에 대한 영향

보고서는 추출된 모델이 원본의 안전 메커니즘을 유지할 가능성이 낮다고 직접적으로 명시하고 있습니다. 일상적인 질문에서는 원본과 복제 모델이 유사한 답변을 제공하지만, 의료, 법률 또는 미묘한 주제와 관련된 특수한 경우에는 중요한 차이가 나타납니다. 복제 모델들은 "거짓된 확신을 가지고 돌진"하는데, 이는 추출 과정에서 조심스러움을 가르친 훈련이 손실되었기 때문입니다.

Anthropic은 이를 1년 동안 창문 너머로 진짜 의사들을 관찰한 의사와 비교합니다. 일상적인 사례는 적절히 처리될 수 있지만, 복잡한 사례는 보장이 없으며, 사용자는 너무 늦기 전까지 일상적 사례와 복잡한 사례를 구분할 수 없습니다.

모델 평가에 대한 영향

보고서는 역설적인 효과를 언급합니다: 모델 간의 불일치는 추출 이후 더 가치 있게 됩니다. 추출된 능력을 공유할 수 있는 두 모델이 여전히 다른 답변을 제공한다면, 적어도 하나는 독립적인 추론을 수행한 것입니다. 모델 간의 일치는 덜 의미 있게 되며, 불일치는 진정한 독립적 처리를 나타냅니다.