Benchmark de Quantification Qwen 3.6 27B : Q4_K_M Surpasse Q8_0 en Compromis Pratiques
Un utilisateur de Reddit a benchmarké Qwen 3.6 27B dans trois variantes de quantification GGUF (BF16, Q4_K_M, Q8_0) en utilisant llama-cpp-python via le framework Neo AI Engineer. L'évaluation a porté sur 664 échantillons au total répartis sur trois tâches : HumanEval (génération de code, 164 échantillons), HellaSwag (raisonnement de sens commun, 100 échantillons) et BFCL (appel de fonctions, 400 échantillons).
Résultats du benchmark
- BF16 (taille du modèle 53,8 Go, RAM maximale 54 Go, débit 15,5 tok/s) : HumanEval 56,10% (92/164), HellaSwag 90,00% (90/100), BFCL 63,25% (253/400). Précision moyenne : 69,78%.
- Q4_K_M (16,8 Go, 28 Go RAM, 22,5 tok/s) : HumanEval 50,61% (83/164), HellaSwag 86,00% (86/100), BFCL 63,00% (252/400). Moyenne : 66,54%.
- Q8_0 (28,6 Go, 42 Go RAM, 18,0 tok/s) : HumanEval 52,44% (86/164), HellaSwag 83,00% (83/100), BFCL 63,00% (252/400). Moyenne : 66,15%.
Points clés à retenir
Q4_K_M est la variante pratique qui se démarque. Elle préserve la précision BFCL (63,00% vs 63,25%), ne perd qu'environ 5,5 points sur HumanEval, et est ~4 points derrière BF16 sur HellaSwag. Les compromis : 1,45x plus rapide que BF16, 48% de RAM maximale en moins, 68,8% de fichier plus petit, et des performances d'appel de fonctions presque identiques. Q8_0 a déçu : il n'a amélioré HumanEval que d'environ 1,8 point par rapport à Q4_K_M mais a utilisé 42 Go de RAM contre 28 Go, était plus lent et a obtenu un score inférieur sur HellaSwag.
Pour un déploiement local/CPU, Q4_K_M est recommandé sauf si la charge de travail est fortement axée sur la génération de code. Pour une qualité maximale, BF16 reste le meilleur.
Configuration de l'évaluation
Variantes GGUF via llama-cpp-python avec n_ctx: 32768, évaluation avec points de contrôle. Le framework Neo AI Engineer a construit le pipeline d'évaluation GGUF, géré les exécutions avec points de contrôle et consolidé les résultats. L'étude de cas complète avec extraits de code est liée dans les commentaires originaux de Reddit.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Claude Code v2.1.144 : Sessions en arrière-plan, cadrage /modèle et délai de démarrage de 15s
Claude Code v2.1.144 ajoute /resume pour les sessions en arrière-plan, limite /model à la session en cours et corrige un blocage de 75 secondes au démarrage lorsque api.anthropic.com est inaccessible avec un délai d'attente de 15 secondes.
TextForge : Un outil d'approbation d'emails conçu par Claude Code pour les flux de travail LLM
Un développeur a créé TextForge en utilisant Claude Code pour automatiser les flux de travail d'e-mails avec des étapes d'approbation obligatoires, empêchant les LLM d'envoyer des e-mails sans autorisation explicite. L'outil s'intègre avec le CRM Pipedrive et a nécessité la conformité à l'audit de sécurité Google CASA2.
Développé un logiciel de comptabilité forensique avec mon père — CaseTrail automatise la détection des fraudes financières
Un duo père-fils a développé CaseTrail, un outil de comptabilité judiciaire basé sur l'IA qui ingère les relevés bancaires et identifie les anomalies. L'article détaille l'intégration avec les LLM pour l'analyse des transactions.
Une architecture de base de connaissances à 4 niveaux pour améliorer la précision des agents d'IA
Un développeur a construit une base de connaissances structurée avec plus de 200 articles pour fournir un contexte spécifique à un domaine aux agents d'IA, en mettant en œuvre un pipeline à 4 niveaux avec classification des requêtes qui a réduit les coûts en tokens d'environ 40 %.