Les modèles à poids ouvert de moins de 100 Go ne peuvent pas surpasser Claude Haiku sur les benchmarks de codage.

Une analyse récente des modèles de langage à poids ouvert révèle un écart de performance significatif par rapport au Claude Haiku d'Anthropic sur les benchmarks de codage. La comparaison a été réalisée en utilisant des paramètres de test spécifiques et des exigences de mémoire.

Méthodologie de benchmark

L'évaluation a comparé les modèles sur deux benchmarks de codage : LiveBench (janvier 2026) et Arena Code/WebDev. Les tests ont été effectués contre Claude Haiku 4.5 avec les capacités de réflexion activées. Les modèles ont été représentés graphiquement en fonction des exigences de mémoire pour un déploiement local.

Spécifications techniques

• Quantification : Q4_K_M
• Longueur de contexte : 32K
• Cache KV : q8_0
• Estimation VRAM : Calculée à l'aide de la calculatrice personnalisée de l'auteur

Principales conclusions

Aucun modèle à poids ouvert nécessitant moins de 100 Go de mémoire ne s'approche des performances de Claude Haiku sur l'un ou l'autre benchmark. Le concurrent le plus proche est Minimax M2.5, qui nécessite environ 136 Go de mémoire et correspond approximativement aux performances de Haiku sur les deux benchmarks.

L'analyse met en lumière l'écart actuel entre les modèles propriétaires et à poids ouvert dans la catégorie des moins de 100 Go pour les tâches de codage. L'auteur exprime sa frustration face à cette limitation et appelle au développement de modèles plus petits qui pourraient au moins égaler les capacités de Haiku.