Script et Processus de Fusion de Modèles GGUF pour les Variantes Qwen3.5-35B
Un utilisateur de Reddit a partagé un script Python et une méthode de travail pour fusionner des fichiers de modèles GGUF avec une perte minimale, ciblant spécifiquement les variantes Qwen3.5-35B. L'approche combine deux modèles existants : Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive de HauhauCS et Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF de samuelcardillo.
Détails techniques
Le modèle fusionné est disponible en version quantifiée Q4_0 sur Hugging Face. Selon la source, le modèle affiné de samuelcardillo surpasse la version de Jackrong pour Qwen 3.5 35B.
Processus de fusion
Le script Python (disponible sur Pastebin) a été "vibecodé via Claude Opus 4.6" et prend en charge :
- La fusion de fichiers GGUF sur Google Colab Free Tier
- La quantification via llama-quantize
- La quantification Q4_K_M pour les modèles 35B
- La quantification Q8 pour les modèles 8B
L'auteur note qu'il ne peut pas créer de versions quantifiées Q8_0 ou F16 en raison des limitations d'espace disque sur Google Colab Free tier, mais suggère que d'autres peuvent modifier le script via Claude Opus pour ces quantifications.
Paramètres optimaux
Pour de meilleures performances dans LM Studio, utilisez ces paramètres :
Température : 0.7
Échantillonnage Top K : 20
Pénalité de présence : 1.5
Échantillonnage Top P : 0.8
Échantillonnage Min P : 0
Graine : 3407 ou 42L'invite système (version complète sur Pastebin) doit inclure cette première ligne : "Vous êtes Qwen, créé par Alibaba Cloud. Vous êtes un assistant utile." L'auteur note que le modèle est moins performant sans cette ligne.
📖 Source : r/LocalLLaMA
👀 See Also
Jake Benchmark v1 : Tests de Performance des LLM Locaux pour les Agents d'IA OpenClaw
Un développeur a testé 7 LLM locaux en tant qu'agents IA avec OpenClaw en utilisant 22 tâches pratiques incluant le traitement d'emails, la planification de réunions et la détection de phishing. Les résultats varient de 59,4 % pour Qwen 27B à 1,6 % pour Nemotron 30B, avec des journaux de conversation détaillés disponibles.
Compétence OpenClaw 'Conseils d'Attente' Affiche des Astuces d'Apprentissage Pendant les Temps d'Attente des Réponses IA
La compétence 'Waiting Tips' pour OpenClaw envoie immédiatement un conseil d'apprentissage aléatoire lorsqu'un utilisateur envoie un message, comblant ainsi les 5 à 10 secondes d'attente des réponses IA avec du contenu utile. Elle comprend 75 conseils bilingues dans cinq catégories et fonctionne sur plusieurs plateformes de messagerie.
Qwen2-0.5B Affiné pour l'Automatisation de Tâches Locales avec llama.cpp
Un développeur a affiné Qwen2-0.5B pour l'automatisation de tâches en utilisant LoRA sur environ 1000 exemples personnalisés, créant un modèle GGUF de 300 Mo qui s'exécute localement sur CPU via llama.cpp. Le modèle prend des tâches en langage naturel, détecte les types de tâches et génère des plans d'exécution avec des commandes CLI et des raccourcis clavier.
La compétence OpenClaw ajoute la génération d'images par IA avec prise en charge locale de ComfyUI et des invites organisées.
Une nouvelle compétence OpenClaw offre des capacités de génération d'images par IA directement dans le terminal, avec plus de 1 300 invites sélectionnées, une intégration locale de ComfyUI et des flux de travail d'amélioration des invites.