ClawCut Proxy auf GitHub veröffentlicht, um OpenClaw für kleine LLMs zu optimieren

Der ClawCut-Proxy ist jetzt auf GitHub als experimentelles Tool verfügbar, das die Interaktion von OpenClaw mit lokalen LLMs optimiert, insbesondere bei kleineren Modellen, die mit den standardmäßig großen Systemprompts und komplexen Werkzeugdefinitionen von OpenClaw zu kämpfen haben.

Was ClawCut löst

OpenClaw sendet massive Systemprompts (oft >28.000 Zeichen) und komplexe JSON-Werkzeugdefinitionen an LLMs. Während große Cloud-Modelle oder High-End-Lokalmodelle (14B+) damit gut umgehen, leiden kleine Modelle (7B, 8B) auf begrenzter Hardware (Mac/MLX oder Raspberry Pi) unter "Kognitiver Überlastung", was zu Folgendem führt:

• Extrem hoher Verarbeitungslatenz (langsame Time To First Token)
• Modelle vergessen ihre Identität oder verfügbare Werkzeuge
• Halluzinieren von Textantworten anstatt lokale Skripte auszuführen
• Verbindungstimeouts oder fehlerhafte JSON-Antworten
• Hoher RAM-Verbrauch

Wie ClawCut funktioniert

ClawCut fungiert als "Man-in-the-Middle" zwischen OpenClaw und Ihrem lokalen LLM-Server mit diesen Optimierungsfunktionen:

• PROMPT TRIMMING: Entfernt automatisch ungenutzte Standardfähigkeiten aus dem Systemprompt, um das Kontextfenster klein und fokussiert zu halten
• SMART AMNESIA: Kürzt Chatverlauf nach erfolgreichen Werkzeugausführungen intelligent, um "mentalen Raum" für das Modell freizugeben
• ATTENTION FORCER: Injiziert eine Erinnerung am Ende der Nutzeranfrage, um sicherzustellen, dass das Modell Werkzeugnutzung priorisiert
• TOOL FORCER: Injiziert Schlüsselwörter für Werkzeugaufrufe und verweist auf Befehle
• INPUT RESCUE: Umgeht bekannte eingehende Anfragen (wie Cron-Jobs), um LLM-Latenz zu umgehen und 100% Zuverlässigkeit für automatisierte Aufgaben zu gewährleisten
• BASH-RESCUE: Erkennt schlecht formatierte Skriptaufrufe (z.B. nackte Codeblöcke) und wandelt sie on-the-fly in gültige OpenClaw-Werkzeugaufrufe um
• Filtert automatisch dynamische Zeitstempel aus Systemprompts, um nahezu sofortige Antworten durch Hardware-Caching zu ermöglichen
• Übersetzt zwischen OpenAI-kompatiblen Streams (MLX) und dem von OpenClaw erwarteten Ollama/NDJSON-Format
• Echtzeit-Konsolenausgabe von Prefill-Dauer, Token-Anzahl

Leistung und Debugging

ClawCut bietet deutlich schnellere Antwortzeiten (TTFT), da das Modell weniger Text vorab verarbeiten muss, verbesserte Zuverlässigkeit beim Aufruf von Skripten und robuste Fehlerbehandlung bei Stream-Unterbrechungen oder Formatierungsfehlern. Mit aktiviertem DEBUG_MODE können Sie den vollständigen "JSON-Überfluss" von OpenClaw inspizieren, um genau zu verstehen, was das Modell verarbeitet.

Wann zu verwenden

Ideal für kleine Modelle (7B-8B) auf Hardware wie Mac (MLX), Windows oder Linux, besonders wenn Ihr Modell zu viel "chattet" anstatt Befehle auszuführen. Verwenden Sie mit Vorsicht, wenn Sie hochintelligente, große Modelle (14B+) einsetzen, die komplexe Prompts nativ verarbeiten können. In diesem Fall kann der Proxy rein als Logger und Formatübersetzer fungieren, ohne Inhalte zu manipulieren, wenn PASS_THROUGH_MODE = True.