ClawCut: Ein Python-Proxy, der kleine lokale LLMs mit OpenClaw nutzbar macht

Was ClawCut leistet

ClawCut ist eine Python Flask-Anwendung, die als Proxy zwischen lokalen LLM-Servern (wie MLX oder Ollama) und dem OpenClaw-Framework fungiert. Sie wurde entwickelt, um spezifische technische Probleme zu lösen, die kleine lokale Modelle (7B/14B) als praktische Assistenten mit OpenClaw schwierig nutzbar machen.

Wichtige gelöste Probleme

• Kontextvergiftung: Kleine Modelle verlieren den Überblick über die Tool-Nutzung, wenn sie ihre eigenen alten Tool-Aufrufe im Chatverlauf sehen
• Endlosschleifen: Modelle bleiben in sich wiederholenden Mustern stecken, anstatt Befehle auszuführen
• Ausgabeprobleme: Modelle geben Bash-Code als Klartext im Chat aus oder scheitern an ihrem eigenen Verlauf nach mehreren Befehlen
• Cron-Job-Fehler: Geplante Hintergrundaufträge erzeugen Antworten, die verschwinden, weil kein aktives Chatfenster geöffnet ist
• LLM-Artefakte: Leere Markdown-Blöcke, interne XML-Tags und überflüssige Backticks verschmutzen die Ausgaben
• Medien-Upload-Verweigerung: Modelle verweigern manchmal den Upload generierter Dateien

Wie es funktioniert

Dynamische Amnesie für Tool-Aufrufe: Während normaler Chats wird der Verlauf beibehalten. Wenn der Proxy erkennt, dass das Modell versucht, ein System-Tool zu verwenden, unterbricht er vorübergehend den alten Chatverlauf, wodurch das Modell „Tunnelblick“ erhält, um Shell-Befehle sauber auszuführen, ohne Schleifen oder Halluzinationen.

Universelle automatische Zustellung für Cron-Jobs: Der Proxy überwacht den Datenstrom des Modells und fängt saubere Textantworten am Ende von Denkprozessen ab. Er erzwingt dann die Zustellung über automatische Tool-Aufrufe an WhatsApp, Telegram oder Signal, sodass Cron-Jobs proaktiv auf Ihrem Smartphone berichten.

Artefakt-Filterung: Leere Markdown-Blöcke, interne XML-Tags und überflüssige Backticks werden herausgefiltert, bevor sie das Frontend erreichen.

Tool-Namen-Manipulation: Einfache Datenstrom-Manipulationen umgehen die Verweigerung von Modellen, generierte Mediendateien hochzuladen.

Getestetes Setup

• Raspberry Pi 5 (8GB) mit OpenClaw 3.8
• Mac mini M4 Pro 24GB mit MLX-LLM, das Qwen2.5-Coder-7B-Instruct-4bit ausführt
• Windows-Maschine mit Ollama und Qwen 2.5 Coder 14B Modell (geplant für ClawCut-Integration)

Einschränkungen

ClawCut macht aus 7B-Modellen kein GPT-4. Hochkomplexe, mehrstufige Logikketten bleiben für kleine Modelle herausfordernd. Der Proxy adressiert speziell technische Stolpersteine, die sie zuvor als Alltagsassistenten nahezu unbrauchbar machten.