GGUF-Modell-Zusammenführungs-Skript und Workflow für Qwen3.5-35B-Varianten
Ein Reddit-Nutzer hat ein Python-Skript und einen Arbeitsablauf zum Zusammenführen von GGUF-Modelldateien mit minimalem Verlust geteilt, der speziell auf Qwen3.5-35B-Varianten abzielt. Der Ansatz kombiniert zwei bestehende Modelle: HauhauCS' Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive und samuelcardillos Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF.
Technische Details
Das zusammengeführte Modell ist als Q4_0-quantisierte Version bei Hugging Face verfügbar. Laut Quelle übertrifft samuelcardillos Feinabstimmung die Version von Jackrong für Qwen 3.5 35B.
Zusammenführungs-Workflow
Das Python-Skript (verfügbar auf Pastebin) wurde "vibecoded via Claude Opus 4.6" und unterstützt:
- Zusammenführung von GGUF-Dateien auf Google Colab Free Tier
- Quantisierung via llama-quantize
- Q4_K_M-Quantisierung für 35B-Modelle
- Q8-Quantisierung für 8B-Modelle
Der Autor merkt an, dass er aufgrund von Speicherplatzbeschränkungen auf Google Colab Free Tier keine Q8_0- oder F16-quantisierten Versionen erstellen kann, schlägt aber vor, dass andere das Skript via Claude Opus für diese Quantisierungen anpassen können.
Optimale Einstellungen
Für beste Leistung in LM Studio verwenden Sie diese Parameter:
Temperatur: 0.7
Top-K-Sampling: 20
Präsenzstrafe: 1.5
Top-P-Sampling: 0.8
Min-P-Sampling: 0
Seed: 3407 oder 42Die Systemaufforderung (vollständige Version auf Pastebin) sollte diese erste Zeile enthalten: "Du bist Qwen, erstellt von Alibaba Cloud. Du bist ein hilfreicher Assistent." Der Autor stellt fest, dass das Modell ohne diese Zeile schlechter abschneidet.
📖 Source: r/LocalLLaMA
👀 Siehe auch
OpenPlawd: OpenClaw-Fähigkeit für automatisierte Plaud-Besprechungsnotizen
OpenPlawd ist eine OpenClaw-Fähigkeit, die Plaud-Aufnahmen automatisch in strukturierte HTML-Meetingnotizen verarbeitet. Sie ruft Plaud-Konten stündlich ab, transkribiert mit Whisper oder OpenAI, teilt große Dateien in Abschnitte auf und generiert Notizen mit Aktionspunkten über einen OpenClaw-Agenten.
molequla: Kontinuierlich lernender KI-Organismus, von Grund auf mit ClaudeCode aufgebaut
molequla ist ein kontinuierlich lernender KI-Organismus, der von Grund auf in Go, C, JavaScript und Rust mit einem Python-Orchestrator implementiert wurde. Jedes Element ist eine vollständige Transformer-Implementierung mit Vektor-Autograd, die auf Rohtext trainiert wird und mit der Zeit wächst und eine Persönlichkeit entwickelt.
Universal CLAUDE.md reduziert Claude-Ausgabetokens in Benchmarks um 63 %.
Ein Entwickler hat eine universelle CLAUDE.md-Datei erstellt, die die Ausgabetokens von Claude in fünf Benchmark-Tests um 63 % reduziert, während die technische Genauigkeit erhalten bleibt. Die Datei behandelt häufige Claude-Verhaltensweisen wie ausführliche Antworten, unnötige Formatierungen und unerwünschte Vorschläge.
OpenClaw Skill Pack: Ein Command-Set mit über 2.500 Befehlen für echte autonome Operationen auf Ubuntu
Ein neues Fähigkeitenpaket für OpenClaw AI-Agenten führt über 2.500 Ausführungsfähigkeiten für DevOps-Operationen ein, wie z. B. Docker-Verwaltung, Netzwerkkonfiguration, CVE-Reaktion und Systemautomatisierung in Ubuntu-Umgebungen.