개발자가 로컬 코딩 작업을 위해 Qwen3.5 27B와 더 큰 모델을 테스트합니다

한 개발자가 로컬 코딩 작업을 위해 여러 대규모 언어 모델을 테스트하며 성능과 하드웨어 요구 사항을 비교했습니다. 이 테스트는 Qwen3.5 변종과 Nemotron 모델에 초점을 맞추었으며, GPT-5.4 High와의 비교도 포함되었습니다.

테스트 결과 및 발견 사항

개발자가 테스트한 구체적인 모델은 다음과 같습니다:

• unsloth/Qwen3.5-27B-GGUF:UD-Q4_K_XL
• unsloth/Qwen3.5-35B-A3B-GGUF:UD-Q4_K_XL
• unsloth/Qwen3.5-122B-A10B-GGUF
• unsloth/Qwen3.5-27B-GGUF:UD-Q6_K_XL
• unsloth/Qwen3.5-27B-GGUF:UD-Q8_K_XL
• unsloth/NVIDIA-Nemotron-3-Super-120B-A12B-GGUF:UD-IQ4_XS
• unsloth/gpt-oss-120b-GGUF:F16

테스트에서 얻은 주요 발견 사항:

• Nemotron-3-Super-120B는 GPT-5.4 High와 동등한 "매우, 매우 우수한" 성능을 보였습니다
• Qwen3.5-27B는 개발 작업에 잘 수행되었습니다
• GPT-OSS-120B와 Qwen3.5-122B는 다른 두 모델보다 성능이 떨어졌습니다
• Nemotron-3-Super-120B는 일관되게 스페인어(테스터의 모국어)로 응답했으며, 다른 모델들은 영어로 응답했습니다

성능 지표

개발자가 제공한 구체적인 성능 수치:

• Nemotron-3-Super-120B: 초당 80 토큰(tg/s), 약 2000 프롬프트 처리(pp), 4x RTX 3090으로 vast.ai에서 100k 컨텍스트
• Qwen3.5-27B Q6: 803 pp, 25 tg/s, vast.ai에서 256k 컨텍스트

하드웨어 요구 사항

개발자가 언급한 하드웨어 제약 사항:

• Qwen3.5-122B는 새 마더보드와 1-2개의 추가 RTX 3090 카드가 필요해 비용이 너무 비쌉니다
• Qwen3.5-27B는 기존 2x RTX 3090 하드웨어에서 추가 투자 없이 실행됩니다
• Nemotron-3-Super-120B를 위한 하드웨어가 있다면, 그 모델을 대신 사용할 것입니다

구현 세부 사항

개발자는 로컬에서 실제 개발 작업에 Qwen3.5-27B-GGUF:UD-Q6_K_XL을 사용할 계획이며, 테스트에 사용한 llama.cpp 명령어를 제공했습니다:

./llama.cpp/llama-server -hf unsloth/Qwen3.5-27B-GGUF:UD-Q6_K_XL --ctx-size 262144 --temp 0.6 --top-p 0.95 --top-k 20 --min-p 0.00 -ngl 999

개발자는 복잡한 작업에는 CODEX를 계속 사용하겠지만, 일상 작업에 대한 API 구독을 로컬 설정으로 대체할 수 있다고 언급했습니다.