QWEN3.6-27B-MLX-8bit, 29.5GB로 로컬 워크플로우에서 122B와 동등한 성능

에이전트 오케스트레이션, 리서치, 작성을 위해 로컬 모델을 돌리던 한 Reddit 사용자는 QWEN3.6-27B-MLX-8bit(29.5GB 다운로드)가 동일한 작업에서 기존 주력 모델과 비슷한 성능을 보였다고 밝혔습니다. 단지 속도가 더 느릴 뿐입니다.

이전 선택은 QWEN3.5-122B-a10-uncensored-hauhaucs-aggressive로, 79GB 모델이며 사용자는 8시간 워크플로에서 안정적이라고 평가했습니다. 문제는 품질이 아니라 메모리였습니다.

79GB 모델이 문제가 된 이유

RAM 256GB를 갖춘 M3 Ultra Mac Studio에서 이 79GB 모델은 워크플로의 비디오 생성 단계가 시작되면 메모리 사용량을 약 93%까지 밀어붙였습니다. 사용자는 크래시를 피하기 위해 수시로 애플리케이션을 강제 종료해야 했다고 전했습니다. 또한 추가 Mac Studio를 계획 중이지만 비디오 작업 전용으로만 쓸 예정이라, 그때까지는 RAM 확보가 중요하다고 덧붙였습니다.

27B로 결정하기 전, 사용자는 며칠에 걸쳐 다른 QWEN 및 Nemotron 모델도 테스트했지만 자신의 워크로드에서 122B에 필적할 만한 모델은 없었다고 합니다.

그 대가

사용자의 자체 테스트에 따르면 QWEN3.6-27B-MLX-8bit의 결과는 명확한 트레이드오프입니다.

• 장점: RAM 50GB 확보(29.5GB 점유 vs 79GB). 앱 강제 종료를 유발하던 메모리 압박이 사라집니다.
• 비용: 동일 작업에서 122B보다 느립니다.
• 품질: 사용자는 "이 모든 작업에서 똑같이 훌륭하다"고 평가했습니다. 출력 품질 저하가 아니라 속도 손해일 뿐입니다.

작업 범위

이것은 일반적인 벤치마크 주장이 아닙니다. 사용자의 워크플로는 로컬 오케스트레이션, 리서치, 작성, 그리고 비디오 생성 단계를 아우릅니다. 소비자용 Apple Silicon에서 메모리 문제가 드러나기 쉬운, 더 무겁고 오래 걸리는 종류의 파이프라인입니다.

단일 머신에서 긴 세션 동안 오케스트레이션을 돌리는 사람이라면, 이 글의 실용적인 결론은 간단합니다. 27B 규모의 29.5GB 8비트 MLX 모델이 훨씬 더 큰 양자화 모델에 맞설 수 있으며, 확보한 RAM을 파이프라인의 다른 곳에 쓸 수 있다는 것입니다.

전체 글은 r/openclaw에 있습니다. 사용자는 비교의 세부 내용을 원한다면 이전에 올린 관련 테스트 스레드가 있다고 합니다.