Claude 4.6 Opus 추론 기능이 MLX 양자화를 통해 Apple Silicon용으로 14GB로 경량화되었습니다.

한 개발자가 Claude 4.6 Opus의 추론 능력을 Apple Silicon 하드웨어에 가져오는 로컬 AI 모델을 성공적으로 양자화하여 성능을 유지하면서 메모리 사용량을 크게 줄였습니다.

모델과 그 기원

이 작업은 Claude 4.6 Opus 추론 궤적에서 증류된 Qwen 3.5 27B 버전을 중심으로 진행되었습니다. 개발자는 단순히 코드를 자동 완성하는 것이 아닌 '생각'할 수 있는 모델을 원했으며, Opus의 특징을 '신중하고 분석적이며 다른 모델들이 놓치는 미묘한 아키텍처 결함을 포착한다'고 설명했습니다. 이 증류 버전은 그 '생각'의 구조를 오픈 가중치 아키텍처에 가져옵니다.

양자화 과정

원본 모델은 BF16 형식으로 55.6GB였으며, 개발자는 이 크기가 대부분의 로컬 설정에서 '시작조차 불가능한' 수준으로 전체 메모리 풀을 소비한다고 지적했습니다. 이를 해결하기 위해 MLX를 사용해 Apple Silicon용으로 모델을 양자화하여 4비트 정밀도로 변환했습니다. 목표는 고품질의 Opus 추론 능력을 유지하면서 기술 계획 및 복잡한 논리 작업에 일상적으로 사용할 수 있을 만큼 가볍게 만드는 것이었습니다.

결과와 성능

• 용량: 55GB에서 14GB로 감소
• 속도: M4 Pro에서 약 16 토큰/초
• 추론: 전체 <think> 블록을 유지하여 모델이 논리를 검증하고, 엣지 케이스를 시뮬레이션하며, 최종 답변을 제시하기 전에 자체 수정할 수 있도록 함

가용성과 요구사항

개발자는 가중치를 Hugging Face에 업로드했습니다. 이 모델은 프라이빗하고 고급 수준의 논리 및 기술 계획을 완전히 오프라인에서 실행하려면 24GB 이상의 RAM을 가진 Mac이 필요합니다.