ClawCut : Un proxy Python qui rend les petits LLM locaux utilisables avec OpenClaw

Ce que fait ClawCut

ClawCut est une application Python Flask qui agit comme un proxy entre les serveurs LLM locaux (comme MLX ou Ollama) et le framework OpenClaw. Il a été créé pour résoudre des problèmes techniques spécifiques qui rendent les petits modèles locaux (7B/14B) difficiles à utiliser comme assistants pratiques avec OpenClaw.

Problèmes clés résolus

• Empoisonnement du contexte : Les petits modèles perdent la trace de l'utilisation des outils lorsqu'ils voient leurs propres anciens appels d'outils dans l'historique du chat
• Boucles infinies : Les modèles restent bloqués à répéter des motifs au lieu d'exécuter des commandes
• Problèmes de sortie : Les modèles sortent du code bash sous forme de texte brut dans le chat ou s'étouffent avec leur propre historique après plusieurs commandes
• Échecs des tâches cron : Les tâches planifiées en arrière-plan génèrent des réponses qui disparaissent car aucune fenêtre de chat active n'est ouverte
• Artefacts LLM : Les blocs markdown vides, les balises XML internes et les backticks pendants encombrent les sorties
• Refus de téléchargement de médias : Les modèles refusent parfois de télécharger les fichiers générés

Comment ça fonctionne

Amnésie dynamique pour les appels d'outils : Pendant le chat normal, l'historique est préservé. Lorsque le proxy détecte que le modèle tente d'utiliser un outil système, il coupe temporairement l'ancien historique du chat, donnant au modèle une "vision tunnel" pour exécuter des commandes shell proprement sans boucles ni hallucinations.

Livraison automatique universelle pour les tâches cron : Le proxy surveille le flux du modèle et intercepte les réponses texte propres à la fin des processus de réflexion. Il force ensuite la livraison via des appels d'outils automatiques vers WhatsApp, Telegram ou Signal, faisant que les tâches cron rapportent proactivement sur votre téléphone.

Filtrage des artefacts : Les blocs markdown vides, les balises XML internes et les backticks pendants sont filtrés avant d'atteindre l'interface frontale.

Manipulation des noms d'outils : De simples manipulations de flux contournent le refus des modèles de télécharger les fichiers multimédias générés.

Configuration testée

• Raspberry Pi 5 (8GB) avec OpenClaw 3.8
• Mac mini M4 Pro 24GB avec MLX-LLM exécutant Qwen2.5-Coder-7B-Instruct-4bit
• Machine Windows avec Ollama et le modèle Qwen 2.5 Coder 14B (prévu pour l'intégration ClawCut)

Limitations

ClawCut ne transforme pas les modèles 7B en GPT-4. Les chaînes logiques multi-étapes très complexes restent difficiles pour les petits modèles. Le proxy s'attaque spécifiquement aux obstacles techniques qui les rendaient auparavant presque inutilisables comme assistants quotidiens.