ClawCut：OpenClawで使える小さなローカルLLMのためのPythonプロキシ

ClawCutの機能

ClawCutは、ローカルLLMサーバー（MLXやOllamaなど）とOpenClawフレームワークの間のプロキシとして機能するPython Flaskアプリケーションです。これは、小規模なローカルモデル（7B/14B）をOpenClawで実用的なアシスタントとして使用するのを困難にする特定の技術的問題を解決するために作成されました。

解決される主な問題

• コンテキスト汚染: 小規模モデルは、チャット履歴で自身の古いツール呼び出しを見ると、ツール使用の追跡を失います
• 無限ループ: モデルはコマンドを実行する代わりにパターンを繰り返し続けてしまいます
• 出力の問題: モデルはbashコードをチャット内のプレーンテキストとして出力したり、複数のコマンド後に自身の履歴で詰まったりします
• Cronジョブの失敗: スケジュールされたバックグラウンドジョブは、アクティブなチャットウィンドウが開いていないため、応答が消えてしまいます
• LLMのアーティファクト: 空のマークダウンブロック、内部XMLタグ、未完了のバッククォートが出力を乱雑にします
• メディアアップロードの拒否: モデルは生成されたファイルのアップロードを拒否することがあります

仕組み

ツール呼び出しのための動的記憶喪失: 通常のチャット中は履歴が保持されます。プロキシがモデルがシステムツールを使用しようとしていることを検出すると、一時的に古いチャット履歴を遮断し、モデルに「トンネルビジョン」を与えて、ループや幻覚なしにシェルコマンドをクリーンに実行できるようにします。

Cronジョブのためのユニバーサル自動配信: プロキシはモデルのストリームを監視し、思考プロセスの終わりにクリーンなテキスト応答をインターセプトします。その後、WhatsApp、Telegram、またはSignalへの自動ツール呼び出しを介して配信を強制し、cronジョブが積極的にあなたの電話に報告するようにします。

アーティファクトフィルタリング: 空のマークダウンブロック、内部XMLタグ、未完了のバッククォートは、フロントエンドに到達する前にフィルタリングされます。

ツール名の操作: シンプルなストリーム操作により、生成されたメディアファイルのアップロードを拒否するモデルを回避します。

テスト済みセットアップ

• OpenClaw 3.8を搭載したRaspberry Pi 5（8GB）
• MLX-LLMでQwen2.5-Coder-7B-Instruct-4bitを実行するMac mini M4 Pro 24GB
• OllamaとQwen 2.5 Coder 14Bモデルを搭載したWindowsマシン（ClawCut統合予定）

制限事項

ClawCutは7BモデルをGPT-4に変えるものではありません。非常に複雑な多段階の論理チェーンは、小規模モデルにとって依然として困難です。このプロキシは、以前は日常的なアシスタントとしてほぼ使用不能にしていた技術的な障害に特化して対処します。