Utilisateur de Reddit rapporte 18,8 tok/s en inférence CPU avec Qwen 3 30B Q4 sur Zen 4
Un utilisateur de Reddit a partagé son expérience de test d'inférence LLM locale sur CPU au lieu d'investir dans du matériel GPU coûteux.
Détails clés
L'utilisateur envisageait d'acheter du matériel GPU pour l'inférence LLM locale, notamment :
- Des GPU P40
- Des GPU V100 (a failli acheter une version SXM2 qui ne se branche pas sur des cartes mères normales)
- Des RTX 3090 (prix à 800 $+ en raison de la demande en IA)
Après avoir été conseillé d'essayer d'abord l'inférence sur CPU, il a testé :
- Modèle : Qwen 3 30B Q4
- Matériel : Processeur Zen 4 avec mémoire DDR5
- Performances : 18,8 tokens par seconde sur CPU
- Attente vs Réalité : Attendu 3-5 tok/s, obtenu près de 19 tok/s
L'utilisateur a noté que "Zen 4 + DDR5 est dingue pour l'inférence".
Résultats pratiques des tests
L'utilisateur a mené une comparaison réelle de tâches de codage :
- Un modèle 8B "a écrit avec confiance un code complètement faux"
- Le modèle 30B "a réussi du premier coup"
- Il a décrit les performances du modèle 30B comme "pratiquement au niveau de GPT-4o pour 0 $"
Cela suggère que pour certaines tâches de codage, un modèle 30B correctement quantifié fonctionnant sur du matériel CPU moderne peut fournir des résultats comparables à ceux de modèles cloud plus grands, sans l'investissement matériel typiquement associé à l'inférence LLM locale.
📖 Read the full source: r/LocalLLaMA
👀 See Also
DiLoCo Découplé : Formation Distribuée Résiliente entre Centres de Données avec Faible Bande Passante
Decoupled DiLoCo de Google DeepMind entraîne des LLM à travers des centres de données distants en utilisant un réseau étendu (WAN) de 2 à 5 Gbps, avec des îlots de calcul auto-réparateurs qui isolent les pannes matérielles sans dégrader les performances d'apprentissage automatique.
Les PDG rapportent un impact minimal de l'IA sur la productivité et l'emploi dans une étude récente
Une étude portant sur 6 000 cadres dirigeants a révélé que 90 % d'entre eux n'ont signalé aucun impact de l'IA sur l'emploi ou la productivité sur trois ans, avec une utilisation moyenne de l'IA de 1,5 heure par semaine. Les économistes comparent cela au paradoxe de productivité de Solow de l'ère informatique des années 1980.
Mise à jour OpenClaw 2026.3.2 : Désactivation des outils de l'agent par défaut
OpenClaw 2026.3.2 désactive par défaut toutes les autorisations d'outils des agents, empêchant le fonctionnement d'outils comme exec et web_fetch. La solution nécessite d'ajouter une configuration au fichier openclaw.json.
Claude 4.6 Opus Peut Reproduire le list.h de Linux à Partir d'une Entrée Minimale
Un utilisateur a démontré que Claude 4.6 Opus peut générer une copie quasi identique du fichier d'en-tête list.h de Linux lorsqu'on lui fournit les 43 premières lignes en entrée avec une température fixée à 0, soulevant des questions sur les implications de la licence GPL pour les modèles d'IA entraînés sur du code open source.