Claude 4.6 Opus 추론 기능이 MLX 양자화를 통해 Apple Silicon용으로 14GB로 경량화되었습니다.
한 개발자가 Claude 4.6 Opus의 추론 능력을 Apple Silicon 하드웨어에 가져오는 로컬 AI 모델을 성공적으로 양자화하여 성능을 유지하면서 메모리 사용량을 크게 줄였습니다.
모델과 그 기원
이 작업은 Claude 4.6 Opus 추론 궤적에서 증류된 Qwen 3.5 27B 버전을 중심으로 진행되었습니다. 개발자는 단순히 코드를 자동 완성하는 것이 아닌 '생각'할 수 있는 모델을 원했으며, Opus의 특징을 '신중하고 분석적이며 다른 모델들이 놓치는 미묘한 아키텍처 결함을 포착한다'고 설명했습니다. 이 증류 버전은 그 '생각'의 구조를 오픈 가중치 아키텍처에 가져옵니다.
양자화 과정
원본 모델은 BF16 형식으로 55.6GB였으며, 개발자는 이 크기가 대부분의 로컬 설정에서 '시작조차 불가능한' 수준으로 전체 메모리 풀을 소비한다고 지적했습니다. 이를 해결하기 위해 MLX를 사용해 Apple Silicon용으로 모델을 양자화하여 4비트 정밀도로 변환했습니다. 목표는 고품질의 Opus 추론 능력을 유지하면서 기술 계획 및 복잡한 논리 작업에 일상적으로 사용할 수 있을 만큼 가볍게 만드는 것이었습니다.
결과와 성능
- 용량: 55GB에서 14GB로 감소
- 속도: M4 Pro에서 약 16 토큰/초
- 추론: 전체 <think> 블록을 유지하여 모델이 논리를 검증하고, 엣지 케이스를 시뮬레이션하며, 최종 답변을 제시하기 전에 자체 수정할 수 있도록 함
가용성과 요구사항
개발자는 가중치를 Hugging Face에 업로드했습니다. 이 모델은 프라이빗하고 고급 수준의 논리 및 기술 계획을 완전히 오프라인에서 실행하려면 24GB 이상의 RAM을 가진 Mac이 필요합니다.
📖 전체 출처 읽기: r/LocalLLaMA
👀 See Also
SourceBridge: 로컬 LLM을 사용한 코드베이스 분석을 위한 오픈소스 도구
SourceBridge는 Git 저장소를 심볼 그래프로 색인화하고 로컬 LLM을 사용하여 코드베이스 요약, 아키텍처 둘러보기 및 학습 자료를 생성하는 오픈소스 도구입니다. OpenAI 호환 API를 통해 Ollama, llama.cpp, vLLM, LM Studio, SGLang 등 여러 로컬 백엔드를 지원합니다.
마인드 프로토콜: 오픈소스 시스템으로 클로드에 지속적 메모리와 실시간 생체 인식 통합 제공
Mind Protocol은 Claude가 자율적인 동반자로 지속적으로 실행되는 오픈소스 시스템입니다. 이 시스템은 모든 세션에 걸쳐 지속적인 메모리를 제공하며, 패턴, 선호도, 기록에 대한 수개월간 누적된 컨텍스트를 Claude에 제공합니다. 또한 모든 대화에 실시간 Garmin 워치 데이터(심박수, HRV, 스트레스, 수면 지표, 체력 배터리 수치 등)를 주입합니다.
Clawhub 기술을 통해 OpenClaw가 API를 통해 애플 헬스 데이터를 분석할 수 있습니다.
새로운 'apple-health-export-analyzer'라는 Clawhub 스킬이 출시되어 OpenClaw가 Apple Health 데이터를 읽고 분석할 수 있게 되었습니다. 이 도구는 대용량 XML 파일을 파싱하여 관련 지표를 추출하고 실행 가능한 제안과 함께 일일 건강 업데이트를 제공합니다.
Engram: OpenClaw 에이전트용 하이브리드 메모리 플러그인 — 감쇠 기능이 있는 벡터 및 의미론 검색
Engram은 OpenClaw 에이전트에 세션 간 지속 가능한 하이브리드 메모리를 제공합니다. SQLite+FTS5로 정확한 검색, LanceDB로 의미 검색, 감쇠 클래스와 자동 캡처 훅을 지원합니다.