Utilisateur de Reddit rapporte 18,8 tok/s en inférence CPU avec Qwen 3 30B Q4 sur Zen 4

Un utilisateur de Reddit a partagé son expérience de test d'inférence LLM locale sur CPU au lieu d'investir dans du matériel GPU coûteux.

Détails clés

L'utilisateur envisageait d'acheter du matériel GPU pour l'inférence LLM locale, notamment :

• Des GPU P40
• Des GPU V100 (a failli acheter une version SXM2 qui ne se branche pas sur des cartes mères normales)
• Des RTX 3090 (prix à 800 $+ en raison de la demande en IA)

Après avoir été conseillé d'essayer d'abord l'inférence sur CPU, il a testé :

• Modèle : Qwen 3 30B Q4
• Matériel : Processeur Zen 4 avec mémoire DDR5
• Performances : 18,8 tokens par seconde sur CPU
• Attente vs Réalité : Attendu 3-5 tok/s, obtenu près de 19 tok/s

L'utilisateur a noté que "Zen 4 + DDR5 est dingue pour l'inférence".

Résultats pratiques des tests

L'utilisateur a mené une comparaison réelle de tâches de codage :

• Un modèle 8B "a écrit avec confiance un code complètement faux"
• Le modèle 30B "a réussi du premier coup"
• Il a décrit les performances du modèle 30B comme "pratiquement au niveau de GPT-4o pour 0 $"

Cela suggère que pour certaines tâches de codage, un modèle 30B correctement quantifié fonctionnant sur du matériel CPU moderne peut fournir des résultats comparables à ceux de modèles cloud plus grands, sans l'investissement matériel typiquement associé à l'inférence LLM locale.