Modelos de peso aberto com menos de 100GB não conseguem superar o Claude Haiku em benchmarks de codificação.

Uma análise recente de modelos de linguagem de peso aberto revela uma lacuna significativa de desempenho em comparação com o Claude Haiku da Anthropic em benchmarks de programação. A comparação foi conduzida usando parâmetros de teste específicos e requisitos de memória.

Metodologia do benchmark

A avaliação comparou modelos em dois benchmarks de programação: LiveBench (janeiro de 2026) e Arena Code/WebDev. O teste foi realizado contra o Claude Haiku 4.5 com capacidades de pensamento habilitadas. Os modelos foram plotados de acordo com os requisitos de memória para implantação local.

Especificações técnicas

• Quantização: Q4_K_M
• Comprimento do contexto: 32K
• Cache KV: q8_0
• Estimativa de VRAM: Calculada usando a calculadora personalizada do autor

Principais descobertas

Nenhum modelo de peso aberto abaixo de 100GB de memória se aproxima do desempenho do Claude Haiku em nenhum dos benchmarks. O concorrente mais próximo é o Minimax M2.5, que requer aproximadamente 136GB de memória e corresponde aproximadamente ao desempenho do Haiku em ambos os benchmarks.

A análise destaca a lacuna atual entre modelos proprietários e de peso aberto na categoria abaixo de 100GB para tarefas de programação. O autor expressa frustração com essa limitação e pede o desenvolvimento de modelos menores que possam pelo menos igualar as capacidades do Haiku.