Прокси-сервер ClawCut выпущен на GitHub для оптимизации OpenClaw под небольшие языковые модели.

Прокси ClawCut теперь доступен на GitHub в качестве экспериментального инструмента, предназначенного для оптимизации взаимодействия OpenClaw с локальными LLM, особенно небольшими моделями, которые плохо справляются с большими системными промптами и сложными определениями инструментов по умолчанию в OpenClaw.

Что решает ClawCut

OpenClaw отправляет огромные системные промпты (часто >28 000 символов) и сложные JSON-определения инструментов в LLM. В то время как большие облачные модели или мощные локальные модели (14B+) справляются с этим хорошо, небольшие модели (7B, 8B), работающие на ограниченном оборудовании (Mac/MLX или Raspberry Pi), страдают от «когнитивной перегрузки», что приводит к:

• Крайне высокой задержке обработки (медленное время до первого токена)
• Тому, что модели забывают свою идентичность или доступные инструменты
• Галлюцинациям текстовых ответов вместо выполнения локальных скриптов
• Таймаутам соединения или некорректным JSON-ответам
• Огромному потреблению оперативной памяти

Как работает ClawCut

ClawCut действует как «посредник» между OpenClaw и вашим локальным сервером LLM со следующими функциями оптимизации:

• СОКРАЩЕНИЕ ПРОМПТА: Автоматически удаляет неиспользуемые стандартные навыки из системного промпта, чтобы сохранить контекстное окно небольшим и сфокусированным
• УМНАЯ АМНЕЗИЯ: Интеллектуально обрезает историю чата после успешного выполнения инструментов, чтобы освободить «ментальное пространство» для модели
• ПРИНУЖДЕНИЕ ВНИМАНИЯ: Внедряет напоминание в самом конце пользовательского запроса, чтобы гарантировать, что модель отдаёт приоритет использованию инструментов
• ПРИНУЖДЕНИЕ ИНСТРУМЕНТОВ: Внедряет ключевые слова для вызова инструментов и указывает на команды
• СПАСЕНИЕ ВВОДА: Замыкает известные входящие запросы (например, Cron-задачи), чтобы обойти задержку LLM и обеспечить 100% надёжность для автоматизированных задач
• СПАСЕНИЕ BASH: Обнаруживает плохо отформатированные вызовы скриптов (например, голые блоки кода) и преобразует их в корректные вызовы инструментов OpenClaw на лету
• Автоматически фильтрует динамические временные метки из системных промптов, чтобы обеспечить почти мгновенные ответы с помощью аппаратного кэширования
• Переводит между совместимыми с OpenAI потоками (MLX) и форматом Ollama/NDJSON, ожидаемым OpenClaw
• Вывод в реальном времени в консоль длительности предзаполнения, количества токенов

Производительность и отладка

ClawCut обеспечивает значительно более быстрое время отклика (TTFT), поскольку модель обрабатывает меньше текста заранее, улучшает надёжность при вызове скриптов и обеспечивает устойчивую обработку ошибок при прерывании потоков или ошибках форматирования. При включённом режиме DEBUG_MODE вы можете просмотреть все «лишние JSON-данные», отправленные OpenClaw, чтобы точно понять, что обрабатывает модель.

Когда использовать

Идеально подходит для небольших моделей (7B-8B), работающих на оборудовании, таком как Mac (MLX), Windows или Linux, особенно если ваша модель слишком много «болтает» вместо выполнения команд. Используйте с осторожностью, если вы работаете с очень умными, большими моделями (14B+), которые могут обрабатывать сложные промпты изначально. В этом случае прокси может действовать исключительно как логгер и преобразователь формата без манипуляций с содержимым, если PASS_THROUGH_MODE = True.