100GB 미만의 오픈 웨이트 모델은 코딩 벤치마크에서 Claude Haiku를 이기지 못합니다.

최근 오픈 웨이트 언어 모델 분석 결과, 코딩 벤치마크에서 Anthropic의 Claude Haiku와 비교해 상당한 성능 차이가 드러났습니다. 이 비교는 특정 테스트 매개변수와 메모리 요구 사항을 사용해 수행되었습니다.

벤치마크 방법론

평가는 두 가지 코딩 벤치마크인 LiveBench(2026년 1월)와 Arena Code/WebDev에서 모델을 비교했습니다. 테스트는 사고 능력이 활성화된 Claude Haiku 4.5에 대해 수행되었습니다. 모델은 로컬 배포를 위한 메모리 요구 사항에 따라 도표화되었습니다.

기술 사양

• 양자화: Q4_K_M
• 컨텍스트 길이: 32K
• KV 캐시: q8_0
• VRAM 추정: 저자의 맞춤 계산기를 사용해 계산됨

주요 발견 사항

100GB 미만 메모리의 오픈 웨이트 모델 중 어느 것도 두 벤치마크에서 Claude Haiku의 성능에 근접하지 못했습니다. 가장 가까운 경쟁자는 약 136GB의 메모리가 필요한 Minimax M2.5로, 두 벤치마크 모두에서 Haiku의 성능과 대략 일치합니다.

이 분석은 코딩 작업에서 100GB 미만 범주의 독점 모델과 오픈 웨이트 모델 간 현재 격차를 강조합니다. 저자는 이러한 한계에 대해 좌절감을 표현하며, 적어도 Haiku의 능력과 맞먹을 수 있는 더 작은 모델 개발을 촉구합니다.