Usuário do Reddit relata 18,8 tok/s em inferência com CPU usando Qwen 3 30B Q4 em Zen 4

✍️ OpenClawRadar📅 Publicado: April 15, 2026🔗 Source
Usuário do Reddit relata 18,8 tok/s em inferência com CPU usando Qwen 3 30B Q4 em Zen 4
Ad

Um usuário do Reddit compartilhou sua experiência testando inferência de LLM local em CPU em vez de investir em hardware de GPU caro.

Detalhes Principais

O usuário estava considerando comprar hardware de GPU para inferência local de LLM, incluindo:

  • GPUs P40
  • GPUs V100 (quase comprou uma versão SXM2 que não conecta em placas-mãe normais)
  • RTX 3090s (com preço de US$ 800+ devido à demanda por IA)

Após ser aconselhado a tentar primeiro a inferência em CPU, ele testou:

  • Modelo: Qwen 3 30B Q4
  • Hardware: Processador Zen 4 com memória DDR5
  • Desempenho: 18,8 tokens por segundo em CPU
  • Expectativa vs Realidade: Esperava 3-5 tok/s, obteve quase 19 tok/s

O usuário observou que "Zen 4 + DDR5 é absurdo para inferência."

Ad

Resultados de Testes Práticos

O usuário conduziu uma comparação de tarefa real de programação:

  • Um modelo de 8B "escreveu código completamente errado com confiança"
  • O modelo de 30B "acertou de primeira"
  • Ele descreveu o desempenho do modelo de 30B como "basicamente nível GPT-4o por US$ 0"

Isso sugere que, para certas tarefas de programação, um modelo de 30B adequadamente quantizado rodando em hardware moderno de CPU pode fornecer resultados comparáveis a modelos maiores baseados em nuvem, sem o investimento em hardware tipicamente associado à inferência local de LLM.

📖 Leia a fonte completa: r/LocalLLaMA

Ad

👀 See Also

O OpenRouter confirma que os modelos Alfa Hunter/Healer são variantes do MiMo V2
News

O OpenRouter confirma que os modelos Alfa Hunter/Healer são variantes do MiMo V2

Os modelos anteriormente sigilosos Hunter Alpha e Healer Alpha do OpenRouter foram confirmados como variantes do MiMo V2. O Hunter Alpha é o modelo de raciocínio apenas em texto MiMo V2 Pro com janela de contexto de 1M, enquanto o Healer Alpha é o modelo de raciocínio texto+imagem MiMo V2 Omni com janela de contexto de 262K.

OpenClawRadar
Claude Code Autópsia: Três Bugs Causaram Degradação de Qualidade, Agora Corrigidos
News

Claude Code Autópsia: Três Bugs Causaram Degradação de Qualidade, Agora Corrigidos

A Anthropic rastreou reclamações recentes sobre a qualidade do Claude Code a três mudanças separadas: o esforço de raciocínio padrão foi reduzido, um bug de cache descartou a memória da sessão e um prompt de verbosidade prejudicou a qualidade da codificação. Todos corrigidos a partir de 20 de abril (v2.1.116).

OpenClawRadar
Usuários relatam que Sonnet 4.6 supera Opus 4.6 em tarefas práticas de programação
News

Usuários relatam que Sonnet 4.6 supera Opus 4.6 em tarefas práticas de programação

Um desenvolvedor testando os modelos Claude AI descobriu que o Opus 4.6 produzia soluções superdimensionadas com lacunas de desempenho, enquanto o Sonnet 4.6 entregava correções mais cuidadosas e eficientes com menor uso de tokens.

OpenClawRadar
ThinkPad de 34 Anos: Do IBM 700C às Estações de Trabalho de IA da Lenovo
News

ThinkPad de 34 Anos: Do IBM 700C às Estações de Trabalho de IA da Lenovo

O ThinkPad é enviado continuamente desde 1992 sob a IBM e a Lenovo, com continuidade visual do 700C ao P14s Gen 6 AMD de 2026 que executa workloads de LLM de 70B localmente.

OpenClawRadar