VibeThinker-3B: AIME 수학 벤치마크에서 671B DeepSeek와 성능이 일치하는 3B 파라미터 모델

시나 웨이보의 9명 연구팀은 이번 주말 14쪽 분량의 arXiv 보고서를 발표하며, 3B 매개변수 모델 VibeThinker-3B가 수백 배 더 큰 모델의 추론 성능과 동등하거나 이를 능가한다고 주장했다. 이 모델은 AIME 2026(American Invitational Mathematics Examination)에서 94.3점을 기록, DeepSeek V3.2(671B 매개변수)와 어깨를 나란히 하고 Gemini 3 Pro(91.7)를 앞질렀다. 테스트 시간 스케일링 기법인 Claim-Level Reliability Assessment를 적용하면 점수가 97.1까지 올라간다.

주요 벤치마크

• AIME 2025: 91.4
• AIME 2026: 94.3 (CLRA 적용 시 97.1)
• HMMT 2025: 89.3
• BruMO 2025: 93.8
• IMO-AnswerBench: 76.4
• LiveCodeBench v6 (Pass@1): 80.2
• 보지 못한 LeetCode 문제(2026년 4~5월): 96.1% 채택률
• IFEval: 93.4

주목할 점은 VibeThinker-3B가 지식 벤치마크에서 저조한 성능을 보인다는 것이다: GPQA-Diamond에서 70.2점으로 Gemini 3 Pro(91.9)와 Claude Opus 4.5(87.0)에 크게 뒤진다. 연구진은 이를 그들의 주장과 일관된 결과라고 명시적으로 인정한다. 즉, 검증 가능한 추론은 '매개변수 집약적'인 반면, 개방형 도메인 지식은 '매개변수 확장적'이라는 것이다.

훈련 파이프라인

VibeThinker-3B는 알리바바 Qwen 팀의 Qwen2.5-Coder-3B를 기반으로, 이전 VibeThinker 연구에서 소개된 다단계 파이프라인인 '스펙트럼-투-시그널 원리(Spectrum-to-Signal Principle)'를 사용해 사후 훈련되었다. 논문에서는 매개변수 압축-커버리지 가설(Parametric Compression-Coverage Hypothesis)을 소개한다: 검증 가능한 추론은 소형 코어로 압축될 수 있는 반면, 광범위한 지식은 더 많은 매개변수를 필요로 한다는 것이다.

논문 공개 후 몇 시간 만에 Hugging Face Daily Papers에서 62개의 추천을 받았고, 모델 저장소는 130개의 좋아요, GitHub 저장소는 685개의 별을 받았다. 소셜 미디어에서는 회의론이 높았다. 사용자 @orcus108의 게시물은 161,000회 이상 조회되며 "이게 진짜 혁신인지, 아니면 벤치마크가 망가진 것인지 정말 모르겠다"고 질문했다.

참고로, DeepSeek V3.2는 671B 매개변수(약 224배 큼), GLM-5는 744B, Kimi K2.5는 1조 개를 넘는다. VibeThinker-3B는 일반 소비자용 노트북에서 실행 가능하다.