GGUF-Modell-Zusammenführungs-Skript und Workflow für Qwen3.5-35B-Varianten
Ein Reddit-Nutzer hat ein Python-Skript und einen Arbeitsablauf zum Zusammenführen von GGUF-Modelldateien mit minimalem Verlust geteilt, der speziell auf Qwen3.5-35B-Varianten abzielt. Der Ansatz kombiniert zwei bestehende Modelle: HauhauCS' Qwen3.5-35B-A3B-Uncensored-HauhauCS-Aggressive und samuelcardillos Qwen3.5-35B-A3B-Claude-4.6-Opus-Reasoning-Distilled-GGUF.
Technische Details
Das zusammengeführte Modell ist als Q4_0-quantisierte Version bei Hugging Face verfügbar. Laut Quelle übertrifft samuelcardillos Feinabstimmung die Version von Jackrong für Qwen 3.5 35B.
Zusammenführungs-Workflow
Das Python-Skript (verfügbar auf Pastebin) wurde "vibecoded via Claude Opus 4.6" und unterstützt:
- Zusammenführung von GGUF-Dateien auf Google Colab Free Tier
- Quantisierung via llama-quantize
- Q4_K_M-Quantisierung für 35B-Modelle
- Q8-Quantisierung für 8B-Modelle
Der Autor merkt an, dass er aufgrund von Speicherplatzbeschränkungen auf Google Colab Free Tier keine Q8_0- oder F16-quantisierten Versionen erstellen kann, schlägt aber vor, dass andere das Skript via Claude Opus für diese Quantisierungen anpassen können.
Optimale Einstellungen
Für beste Leistung in LM Studio verwenden Sie diese Parameter:
Temperatur: 0.7
Top-K-Sampling: 20
Präsenzstrafe: 1.5
Top-P-Sampling: 0.8
Min-P-Sampling: 0
Seed: 3407 oder 42Die Systemaufforderung (vollständige Version auf Pastebin) sollte diese erste Zeile enthalten: "Du bist Qwen, erstellt von Alibaba Cloud. Du bist ein hilfreicher Assistent." Der Autor stellt fest, dass das Modell ohne diese Zeile schlechter abschneidet.
📖 Source: r/LocalLLaMA
👀 Siehe auch
Fantastisches OpenClaw-Fähigkeiten-Repository bietet über 5.400 gefilterte Fähigkeiten
Ein GitHub-Repository namens awesome-openclaw-skills bietet über 1.715 produktionsreife Fähigkeiten, die KI-Agenten mit einem CLI-Befehl installieren können, gefiltert aus dem offiziellen OpenClaw Skills Registry.
Wie Clawdbot 6 KI-Agenten mit einer produktionsstabilen Work Queue koordiniert
Das Team von Clawdbot entwickelte ein Arbeitssystem zur Koordination von 6 KI-Agenten (Design, Code, Marketing, Betrieb) für ihren KI-gesteuerten Shop. Das System umfasst atomare Aufgabenübernahme, einen Zustandsautomaten, Wiederholungslogik mit Backoff, Aufgabenketten, Heartbeat-Überwachung und einen Daemon-Orchestrator.
SIDJUA v0.9.7: Open-Source Multi-Agent KI mit Durchsetzung von Governance vor der Aktion
SIDJUA v0.9.7 ist ein selbst gehostetes, quelloffenes Multi-Agenten-KI-Framework, das Governance-Regeln durchsetzt, bevor Agenten handeln, und unautorisierte Aktionen wie Budgetüberschreitungen oder Verstöße gegen den Umfang blockiert. Es unterstützt mehrere LLM-Anbieter, läuft mit 4 GB RAM und enthält eine Desktop-GUI, die mit Tauri v2 erstellt wurde.
Tripsy startet MCP-Server für Claude: Reisen über strukturierte API verwalten
Der offizielle MCP-Server von Tripsy ermöglicht es Claude, Reisen, Aktivitäten, Unterkünfte, Transport und Ausgaben direkt zu lesen, zu erstellen und zu aktualisieren. Die Einrichtung dauert etwa eine Minute über Claudes benutzerdefinierten Connector.