Usuário do Reddit relata 18,8 tok/s em inferência com CPU usando Qwen 3 30B Q4 em Zen 4

Um usuário do Reddit compartilhou sua experiência testando inferência de LLM local em CPU em vez de investir em hardware de GPU caro.

Detalhes Principais

O usuário estava considerando comprar hardware de GPU para inferência local de LLM, incluindo:

• GPUs P40
• GPUs V100 (quase comprou uma versão SXM2 que não conecta em placas-mãe normais)
• RTX 3090s (com preço de US$ 800+ devido à demanda por IA)

Após ser aconselhado a tentar primeiro a inferência em CPU, ele testou:

• Modelo: Qwen 3 30B Q4
• Hardware: Processador Zen 4 com memória DDR5
• Desempenho: 18,8 tokens por segundo em CPU
• Expectativa vs Realidade: Esperava 3-5 tok/s, obteve quase 19 tok/s

O usuário observou que "Zen 4 + DDR5 é absurdo para inferência."

Resultados de Testes Práticos

O usuário conduziu uma comparação de tarefa real de programação:

• Um modelo de 8B "escreveu código completamente errado com confiança"
• O modelo de 30B "acertou de primeira"
• Ele descreveu o desempenho do modelo de 30B como "basicamente nível GPT-4o por US$ 0"

Isso sugere que, para certas tarefas de programação, um modelo de 30B adequadamente quantizado rodando em hardware moderno de CPU pode fornecer resultados comparáveis a modelos maiores baseados em nuvem, sem o investimento em hardware tipicamente associado à inferência local de LLM.