Script et Processus de Fusion de Modèles GGUF pour les Variantes Qwen3.5-35B
Un utilisateur de Reddit a partagé un script Python et une méthode de travail pour fusionner des fichiers de modèles GGUF avec une perte minimale, ciblant spécifiquement les variantes Qwen3.5-35B. L'approche combine deux modèles existants : Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive de HauhauCS et Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF de samuelcardillo.
Détails techniques
Le modèle fusionné est disponible en version quantifiée Q4_0 sur Hugging Face. Selon la source, le modèle affiné de samuelcardillo surpasse la version de Jackrong pour Qwen 3.5 35B.
Processus de fusion
Le script Python (disponible sur Pastebin) a été "vibecodé via Claude Opus 4.6" et prend en charge :
- La fusion de fichiers GGUF sur Google Colab Free Tier
- La quantification via llama-quantize
- La quantification Q4_K_M pour les modèles 35B
- La quantification Q8 pour les modèles 8B
L'auteur note qu'il ne peut pas créer de versions quantifiées Q8_0 ou F16 en raison des limitations d'espace disque sur Google Colab Free tier, mais suggère que d'autres peuvent modifier le script via Claude Opus pour ces quantifications.
Paramètres optimaux
Pour de meilleures performances dans LM Studio, utilisez ces paramètres :
Température : 0.7
Échantillonnage Top K : 20
Pénalité de présence : 1.5
Échantillonnage Top P : 0.8
Échantillonnage Min P : 0
Graine : 3407 ou 42L'invite système (version complète sur Pastebin) doit inclure cette première ligne : "Vous êtes Qwen, créé par Alibaba Cloud. Vous êtes un assistant utile." L'auteur note que le modèle est moins performant sans cette ligne.
📖 Source : r/LocalLLaMA
👀 See Also
Le Plugin OpenClaw Connecte les Agents IA au Réseau Radio Meshtastic pour un Fonctionnement Hors Réseau
Un nouveau plugin open source fait le pont entre le framework OpenClaw et le réseau maillé radio LoRa de Meshtastic, permettant des conversations IA, des requêtes API et le contrôle d'appareils sans connexion internet ou cellulaire.
GuppyLM : Un LLM de 9M paramètres construit à partir de zéro à des fins éducatives
GuppyLM est un modèle de langage d'environ 9 millions de paramètres entraîné à partir de zéro sur 60 000 conversations synthétiques, utilisant une architecture de transformateur classique avec 6 couches, 384 dimensions cachées et 6 têtes d'attention. Il s'entraîne en environ 5 minutes sur un GPU T4 Colab gratuit et parle avec une personnalité de poisson axée sur l'eau, la nourriture et la vie en aquarium.
molequla : Organisme d'IA à Apprentissage Continu Construit à Partir de Zéro avec ClaudeCode
molequla est un organisme d'IA à apprentissage continu implémenté à partir de zéro en Go, C, JavaScript et Rust avec un orchestrateur Python. Chaque élément est une implémentation complète de transformateur avec autograd vectoriel, entraîné sur du texte brut, qui grandit et développe une personnalité au fil du temps.
Claude-Code v2.1.111 ajoute Opus 4.7 en effort élevé, /ultrareview et un outil PowerShell.
Claude-Code v2.1.111 introduit le niveau d'effort Opus 4.7 xhigh entre high et max, ajoute la commande /ultrareview pour des revues de code multi-agents basées sur le cloud, et commence le déploiement de la prise en charge des outils PowerShell sur Windows. La mise à jour inclut également des contrôles interactifs /effort, une correspondance automatique des thèmes, et de nombreuses corrections de bugs.