Optimisation de Qwen 3.6 27B/35B sur RTX 3090 : Flags, Quantification et Routage Automatique
Un développeur exécutant les modèles Qwen 3.6 localement sur une RTX 3090 (24 Go de VRAM), Ryzen 5700X, 64 Go de RAM, Windows 11, rencontre des problèmes de performance et de fiabilité. Il utilise llama-server avec des flags personnalisés et cherche des conseils sur le choix de la quantification, le débit et le routage automatique des modèles.
Commandes et quantifications
35B (UD Q4_K_M) :
llama-server.exe -m "chemin\Qwen3.6-35B-A3B-UD-Q4_K_M.gguf" -ngl 99 -c 131072 -np 2 -fa on -ctk f16 -ctv f16 -b 2048 -ub 512 -t 8 --mlock -rea on --reasoning-budget 2048 --reasoning-format deepseek --jinja --metrics --slots --port 8081 --host 0.0.0.027B (UD Q4_K_XL) :
llama-server.exe -m "chemin\Qwen3.6-27B-UD-Q4_K_XL.gguf" -ngl 99 -c 196608 -np 1 -fa on -ctk q8_0 -ctv q8_0 -b 2048 -ub 512 -t 8 --no-mmap -rea on --reasoning-budget -1 --reasoning-format deepseek --jinja --metrics --slots --port 8081 --host 0.0.0.0Problèmes signalés
- 35B trop lent – même les tâches itératives simples semblent inutilisables.
- 27B plus rapide mais peu fiable – le code produit est défectueux ; des tâches simples peuvent prendre 20 à 30 minutes.
- Changement manuel de modèle – il faut tuer le serveur, coller une nouvelle commande, recharger le modèle.
Questions spécifiques
- Les flags sont-ils sous-optimaux ? (par ex., taille du contexte, taille du lot, type de cache)
- Quelle quantification/modèle offre le meilleur équilibre entre vitesse et précision de codage sur 24 Go de VRAM ?
- Comment basculer automatiquement entre les modèles par requête, ou garder plusieurs modèles chauds et les router ?
Contexte
L'utilisateur fait tourner l'agent Hermes sur un Raspberry Pi 5 pour le scraping et l'automatisation, et le codage local avec OpenCode/QwenCode. Il souhaite une configuration qui ne nécessite pas de redémarrages manuels du serveur.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Principes d'écriture de compétences pour Claude Code, issus de 159 compétences open-source
Un développeur partage 10 principes pour écrire des compétences efficaces pour Claude Code, basés sur la création et la maintenance d'un registre open-source avec 159 compétences. Les principes incluent des approches pratiques comme l'utilisation de dossiers plutôt que de fichiers uniques, l'ajout de sections pièges courants, et la mise en œuvre de crochets à la demande.
Traiter les Sous-agents OpenClaw comme des Fonctions sans État plutôt que comme des Membres d'Équipe Persistants
Un développeur partage son expérience de passage d'une approche où les sous-agents OpenClaw étaient traités comme des membres d'équipe persistants avec des personnalités, à une vision où ils sont considérés comme des appels de fonction sans état avec des objectifs spécialisés.
DeepSeek-V4-Flash W4A16+FP8 avec auto-spéculation MTP : 85 tok/s sur 2x RTX PRO 6000 Max-Q
DeepSeek-V4-Flash quantifié en W4A16+FP8 atteint 85,52 tok/s avec un contexte de 524k sur 2× RTX PRO 6000 Max-Q en utilisant un vLLM patché avec une tête MTP rétrofitée, contre 52,85 tok/s de référence.
Difficultés d'installation d'OpenClaw sur Windows 11 pour les non-développeurs
Un bricoleur récréatif détaille trois obstacles spécifiques lors de l'installation d'OpenClaw sur un Mini PC à 200 $ fonctionnant sous Windows 11, incluant les politiques d'exécution PowerShell, les blocages de Windows Defender et les dépendances manquantes comme Node.js et Git.