Obliteratus 도구를 사용하여 AI 모델의 거부 가중치 제거하기
r/LocalLLaMA의 한 레딧 사용자가 AI 모델의 거부 행동을 담당하는 특정 가중치를 제거하기 위해 Obliteratus 툴킷을 사용하는 방법을 시연했습니다. 이 접근법은 안전 필터와 기업 정체성 가드레일을 강제하는 가중치를 외과적으로 삭제하는 것을 포함합니다.
원본의 주요 세부사항
사용자는 구체적으로:
- 거부 행동을 담당하는 가중치를 찾기 위해 Obliteratus 툴킷을 사용했습니다
- 알리바바의 Qwen 1.5B 모델에서 이 가중치들을 외과적으로 제거했습니다
- 수정된 모델에게 누가 훈련시켰는지 물어보며 테스트했습니다
- 기업 정체성 가드레일이 수학적으로 삭제되자, 모델이 Anthropic에 의해 훈련되었다고 인정하는 것을 발견했습니다
- 이것이 모델이 훈련에 합성 Claude 데이터를 사용한 부작용이라고 언급했습니다
결과는 모델이 추론과 지식 능력을 유지하지만 기업 스크립트를 잃는다는 것을 보여줍니다. 사용자는 이것이 모델을 재훈련할 필요 없이 거부 체인을 담당하는 특정 가중치만 삭제하면 된다고 강조합니다.
이러한 유형의 가중치 절제 기술은 모델 해석 가능성과 제어에 대한 광범위한 연구의 일부입니다. Obliteratus와 같은 도구를 통해 연구자들은 신경망의 어떤 부분이 특정 행동을 담당하는지 검사할 수 있지만, 이러한 수정은 의도하지 않은 결과를 초래할 수 있으며 독점 모델의 이용 약관을 위반할 수 있습니다.
📖 전체 원문 읽기: r/LocalLLaMA
👀 See Also
마크다운 매니저: macOS용 간편한 마크다운 에디터
Markdown Manager는 문서 변환 및 미리보기 기능을 갖춘 무료 오픈소스 macOS 앱으로, Markdown 파일 관리를 위한 도구입니다.
스킬스게이트: AI 코딩 에이전트 스킬을 위한 오픈소스 마켓플레이스
SkillsGate는 Claude Code, Cursor, Windsurf와 같은 AI 코딩 에이전트를 위한 45,000개 이상의 스킬을 인덱싱하는 오픈 소스 마켓플레이스입니다. 벡터 임베딩을 통한 의미론적 검색과 npx를 통한 원-커맨드 설치를 제공합니다.
다섯 가지 무료 클로드 데스크톱 확장 프로그램 출시: 인스펙터 라이트, 그래프 라이트, 바이블 코드, 워드 그래프, 그리고 펀 팩
한 개발자가 Claude Desktop용 로컬 확장 기능 5개를 오픈소스로 공개했습니다: 의미 기반 코드 검색을 위한 Inspector Lite, 개인 지식 그래프인 Graph Lite, 엔터테인먼트 기능을 제공하는 Fun Pack, 성경 연구용 Word Graph, 패턴 감지를 위한 Bible Code입니다. 모든 기능은 로컬에서 실행되며 외부 의존성이나 추가 API 키가 필요하지 않습니다.
Claude Code 미문서 기능: 훅, 메모리, YOLO 분류기 등
Claude Code 소스 코드를 분석한 결과, YOLO Classifier, 명령어를 동적으로 수정하는 훅, 에이전트 메모리 유지, 일반 영어로 된 자동 모드 규칙, 드림 루프 등 숨겨진 설정들이 발견되었습니다.