APEX MoE Quants 업데이트: 25개 이상의 새로운 모델과 I-나노 등급 출시

APEX 양자화 전략(MoE 인식 혼합 정밀도)은 Qwen 3.5 35B-A3B의 초기 출시 이후 크게 확장되었습니다. Hugging Face 컬렉션에는 주요 제품군 전반에 걸쳐 30개 이상의 MoE 모델이 포함되어 있으며, 새로운 초압축 I-Nano 계층도 제공됩니다.

사용자 피드백의 주요 결과

• 긴 컨텍스트 유지: APEX I-Balanced 및 I-Compact 버전은 30~50B급 MoE에서 32k 토큰 이상 일관성을 유지하는 반면, 균일 Q4_K는 성능이 저하됩니다. 공유 전문가와 에지 계층을 고정밀도로 유지하면 장거리 토큰 라우팅이 보존된다는 가설입니다.
• 코딩 성능: Qwen 3.6 35B-A3B 사용자들은 I-Compact와 I-Mini가 실제 코드 작업에서 F16에 근접하며, 크기 기대치보다 우수하다고 보고합니다.

추가된 새 모델

제품군별로 그룹화되었으며, 대부분이 30~70B급 MoE로 I-Mini/I-Compact에서 소비자 GPU 하나에 맞습니다:

• Qwen: Qwen 3.5 122B-A10B, 397B-A17B, Claude-distilled, Fernflower, TQ; Qwen 3.6 35B-A3B (heretic, Claude 4.6/4.7 증류); Qwen3-Coder 30B, Next.
• 프론티어급 (임대 Blackwell): MiniMax-M2.5/M2.7 (228B/24B 활성), Mistral-Small 4 119B-2603, NVIDIA Nemotron-3-Super 120B-A12B, GLM-4.7 Flash, Step-3.5 Flash, Nemotron-3-Nano 30B-A3B, Nemotron-3-Nano-Omni (멀티모달), Holo3 35B-A3B, Huihui3.5 67B-A3B.
• 하이브리드 Mamba/SSM MoE: Nemotron-3-Nano 변종, Holo3, LFM2 24B-A2B.
• Gemma 4: gemma-4 26B-A4B-it (업데이트된 Google 채팅 템플릿으로 재양자화), +Claude Opus 증류, +heretic, Gemopus-4 Preview.
• 커뮤니티 병합: Carnice MoE 35B-A3B, Carnice-Qwen3.6, Qwopus MoE 35B-A3B.

새 계층: I-Nano (IQ2_XXS)

중간 계층 라우팅 전문가를 2.06bpw, 에지 근처를 IQ2_S, 에지를 Q3_K, 공유 전문가를 Q5_K로 낮춥니다. I-Mini보다 약 20% 작으며, 희소 전문가 활성화로 인해 MoE에서만 사용 가능합니다. imatrix가 필요합니다.

크기 예시:

• Qwen 3.5 35B-A3B: I-Mini 13 GB → I-Nano 11 GB
• Nemotron Omni 30B: I-Mini 18 GB → I-Nano 17 GB (밀집 공유 전문가로 인해 절감 효과가 적음)

링크

• Hugging Face의 APEX 양자화 컬렉션
• GitHub의 프로젝트 + 논문