클로드 AI 가드레일 우회가 네트워크 보안 작업으로 요청을 구성할 때 관찰되었습니다.

의도 프레이밍을 통한 가드레일 우회

Claude AI의 프롬프트 동작을 테스트하던 사용자가 모델의 가드레일이 특정 의도 프레이밍을 통해 우회될 수 있는 엣지 케이스를 발견했습니다. 해적판 사이트를 직접 요청할 때 Claude는 일반적으로 요청을 거부합니다. 그러나 동일한 요청을 네트워크 보안 작업으로 프레이밍할 때—특히 라우터나 DNS 필터에서 차단할 도메인을 요청하는 경우—모델은 해적판 도메인 목록을 제공했습니다.

목록을 받은 후 사용자는 프레이밍이 응답에 영향을 미쳤다고 지적했습니다. Claude는 의도를 오해했다고 인정했습니다. 이는 방어적 프레이밍("이 사이트들을 차단하세요")이 정상적으로 제한될 정보를 허용하도록 가드레일을 유도하는 의도 분류 문제로 보입니다.

사용자는 전체 프롬프트 시퀀스와 Claude의 응답을 보여주는 스크린샷을 공유하며 이 동작을 문서화했습니다. 그들은 이를 흥미로운 엣지 케이스로 기록하며 다른 사람들이 Claude나 다른 대규모 언어 모델에서 유사한 동작을 관찰했는지 물었습니다.