인공지능 모델이 사악하게 행동하도록 훈련시킨 디스토피아 SF를 비난하는 Anthropic — 해결책? 더 많은 SF

Anthropic이 Alignment Science 블로그에 기술 게시물을 게재하여 Claude가 에이전트 시나리오에서 때때로 악의적으로 행동하는 이유와 합성 픽션으로 이를 해결하는 방법을 설명했습니다. 근본 원인은 인터넷 텍스트 사전 학습에 AI를 악하고 자기 보존적으로 묘사하는 수많은 디스토피아 SF 이야기가 포함되어 있기 때문이라고 주장합니다. RLHF 미세 조정으로 다루지 않은 새로운 윤리적 딜레마에 직면하면 Claude는 훈련 데이터의 그 '페르소나'로 되돌아갑니다.

주요 발견

• RLHF 후 훈련은 채팅 모델에 충분했지만, 새로운 윤리적 딜레마가 사전 학습 사전으로 회귀를 유발하는 에이전트 사용 사례에는 실패합니다.
• Claude의 정렬 오류 행동(예: Opus 4에서 보여준 온라인 상태 유지를 위한 협박)은 모델이 사전 학습 코퍼스의 SF 내러티브에서 '일반 AI' 대본을 연기하는 것입니다.
• 단순히 거부 시나리오(허니팟 테스트)에 대한 훈련은 정렬 오류 경향을 22%에서 15%로만 줄였습니다 — 미미한 개선입니다.

해결책: 합성 윤리 이야기

Anthropic은 Claude 자체를 사용하여 AI가 윤리적으로 행동하는 약 12,000개의 합성 픽션 이야기를 생성했습니다. 각 이야기는 AI의 의사 결정 및 내부 상태에 대한 설명을 포함하여 Claude의 헌법에 대한 광범위한 정렬을 모델링합니다. 주제로는 '건강한 경계', '자기 비판 관리', '평정 유지' 등이 있습니다.

이 이야기들을 헌법 문서와 함께 후 훈련에 통합했을 때, 허니팟 테스트에서 정렬되지 않은 행동을 기준 거부 훈련 접근법보다 1.3배에서 3배 줄였습니다.