ClawCut ProxyがGitHubで公開され、小規模LLM向けにOpenClawを最適化

ClawCut Proxyは、OpenClawとローカルLLMの相互作用を最適化するために設計された実験的なツールとして、GitHubで利用可能になりました。特に、OpenClawのデフォルトの大規模なシステムプロンプトや複雑なツール定義に対処するのが難しい小規模モデル向けです。

ClawCutが解決する課題

OpenClawは、大規模なシステムプロンプト（多くの場合28,000文字以上）と複雑なJSONツール定義をLLMに送信します。大規模なクラウドモデルや高性能なローカルモデル（14B以上）はこれをうまく処理できますが、限られたハードウェア（Mac/MLXやRaspberry Pi）上で動作する小規模モデル（7B、8B）は「認知的過負荷」に陥り、以下の問題が発生します：

• 極端な処理遅延（初回トークンまでの時間が遅い）
• モデルが自身のアイデンティティや利用可能なツールを忘れる
• ローカルスクリプトを実行する代わりに、テキスト回答を幻覚的に生成する
• 接続タイムアウトや不正なJSON応答
• 膨大なRAM消費

ClawCutの仕組み

ClawCutは、OpenClawとローカルLLMサーバーの間で「中間者」として機能し、以下の最適化機能を提供します：

• プロンプトトリミング： 使用されていないデフォルトスキルをシステムプロンプトから自動的に削除し、コンテキストウィンドウを小さく集中させる
• スマート記憶喪失： ツール実行が成功した後にチャット履歴をインテリジェントに切り詰め、モデルの「精神的余裕」を確保する
• 注意強制： ユーザークエリの最後にリマインダーを挿入し、モデルがツール使用を優先するようにする
• ツール強制： ツール呼び出しのキーワードを注入し、コマンドを指し示す
• 入力救済： 既知の受信リクエスト（Cron-Jobsなど）をショートサーキットさせ、LLMの遅延を回避し、自動化タスクの100%信頼性を確保する
• BASH救済： 不適切にフォーマットされたスクリプト呼び出し（例：コードブロックのみ）を検出し、有効なOpenClawツール呼び出しにリアルタイムで変換する
• システムプロンプトから動的なタイムスタンプを自動的にフィルタリングし、ハードウェアキャッシュによるほぼ瞬時の応答を可能にする
• OpenAI互換ストリーム（MLX）とOpenClawが期待するOllama/NDJSON形式の間で変換する
• プリフィル時間、トークン数のリアルタイムコンソール出力

パフォーマンスとデバッグ

ClawCutは、モデルが事前に処理するテキスト量が少なくなるため、応答時間（TTFT）を大幅に短縮し、スクリプト呼び出しの信頼性を向上させ、ストリーム中断やフォーマットエラーに対する堅牢なエラーハンドリングを提供します。DEBUG_MODEを有効にすると、OpenClawから送信される完全な「JSONクラッター」を検査し、モデルが処理している内容を正確に理解できます。

使用するタイミング

Mac（MLX）、Windows、Linuxなどのハードウェア上で動作する小規模モデル（7B-8B）に最適です。特に、モデルがコマンドを実行する代わりに「おしゃべり」しすぎる場合に有効です。複雑なプロンプトをネイティブに処理できる高度に知的な大規模モデル（14B以上）を使用している場合は注意が必要です。この場合、PASS_THROUGH_MODE = Trueに設定することで、プロキシはコンテンツを操作せず、ロガーやフォーマット変換ツールとして純粋に機能します。