VibeThinker-3B : Un modèle de 3B de paramètres égalant DeepSeek 671B aux benchmarks mathématiques AIME

Une équipe de neuf chercheurs de Sina Weibo a publié ce week-end un rapport arXiv de 14 pages affirmant qu'un modèle de 3 milliards de paramètres—VibeThinker-3B—égale ou dépasse les performances de raisonnement de modèles des centaines de fois plus gros. Le modèle a obtenu 94,3 sur AIME 2026 (American Invitational Mathematics Examination), le plaçant aux côtés de DeepSeek V3.2 (671B paramètres) et devant Gemini 3 Pro (91,7). Avec une technique de passage à l'échelle au moment du test appelée Claim-Level Reliability Assessment, le score atteint 97,1.

Principaux benchmarks

• AIME 2025 : 91,4
• AIME 2026 : 94,3 (97,1 avec CLRA)
• HMMT 2025 : 89,3
• BruMO 2025 : 93,8
• IMO-AnswerBench : 76,4
• LiveCodeBench v6 (Pass@1) : 80,2
• Concours LeetCode inédits (avril–mai 2026) : taux d'acceptation de 96,1 %
• IFEval : 93,4

Notamment, VibeThinker-3B sous-performe sur les benchmarks de connaissances : 70,2 sur GPQA-Diamond contre 91,9 (Gemini 3 Pro) et 87,0 (Claude Opus 4.5). Les auteurs reconnaissent explicitement que cela correspond à leur affirmation : le raisonnement vérifiable est « dense en paramètres », tandis que les connaissances générales sont « expansives en paramètres ».

Le pipeline d'entraînement

VibeThinker-3B est post-entraîné sur Qwen2.5-Coder-3B (l'équipe Qwen d'Alibaba) en utilisant le « Spectrum-to-Signal Principle », un pipeline en plusieurs étapes introduit dans les travaux antérieurs de l'équipe sur VibeThinker. L'article décrit une hypothèse de compression-couverture paramétrique : le raisonnement vérifiable peut être compressé en un noyau compact, tandis que les connaissances étendues nécessitent plus de paramètres.

En quelques heures après la publication, l'article a reçu 62 votes positifs sur Hugging Face Daily Papers, le dépôt du modèle comptait 130 likes et le dépôt GitHub 685 étoiles. Le scepticisme sur les réseaux sociaux était élevé—le message de l'utilisateur @orcus108 a accumulé plus de 161 000 vues : « Je ne sais honnêtement pas si c'est une percée ou si les benchmarks sont cassés. »

Pour contexte : DeepSeek V3.2 a 671B paramètres (~224x plus gros), GLM-5 en a 744B, et Kimi K2.5 dépasse 1 trillion. VibeThinker-3B peut fonctionner sur un ordinateur portable grand public.