ClawCut: Python-прокси, который делает небольшие локальные LLM пригодными для использования с OpenClaw

Что делает ClawCut

ClawCut — это приложение на Python Flask, которое выступает в качестве прокси между локальными серверами LLM (такими как MLX или Ollama) и фреймворком OpenClaw. Он был создан для решения конкретных технических проблем, которые затрудняют использование небольших локальных моделей (7B/14B) в качестве практичных помощников с OpenClaw.

Ключевые решаемые проблемы

• Отравление контекста: Маленькие модели теряют представление об использовании инструментов, когда видят свои старые вызовы инструментов в истории чата
• Бесконечные циклы: Модели застревают в повторяющихся паттернах вместо выполнения команд
• Проблемы с выводом: Модели выводят bash-код как обычный текст в чате или "захлёбываются" собственной историей после нескольких команд
• Сбои cron-задач: Запланированные фоновые задания генерируют ответы, которые исчезают, потому что нет активного окна чата
• Артефакты LLM: Пустые блоки markdown, внутренние XML-теги и висящие обратные кавычки загромождают вывод
• Отказ от загрузки медиа: Модели иногда отказываются загружать сгенерированные файлы

Как это работает

Динамическая амнезия для вызовов инструментов: Во время обычного чата история сохраняется. Когда прокси обнаруживает, что модель пытается использовать системный инструмент, он временно обрезает старую историю чата, давая модели "туннельное зрение" для чистого выполнения shell-команд без циклов или галлюцинаций.

Универсальная автоматическая доставка для cron-задач: Прокси отслеживает поток модели и перехватывает чистые текстовые ответы в конце мыслительных процессов. Затем он принудительно доставляет их через автоматические вызовы инструментов в WhatsApp, Telegram или Signal, заставляя cron-задачи активно отчитываться на ваш телефон.

Фильтрация артефактов: Пустые блоки markdown, внутренние XML-теги и висящие обратные кавычки отфильтровываются перед попаданием во фронтенд.

Манипуляция именами инструментов: Простые манипуляции с потоком обходят отказ моделей загружать сгенерированные медиафайлы.

Протестированные конфигурации

• Raspberry Pi 5 (8GB) с OpenClaw 3.8
• Mac mini M4 Pro 24GB с MLX-LLM, запускающим Qwen2.5-Coder-7B-Instruct-4bit
• Windows-машина с Ollama и моделью Qwen 2.5 Coder 14B (запланирована для интеграции с ClawCut)

Ограничения

ClawCut не превращает модели 7B в GPT-4. Высокосложные многошаговые логические цепочки остаются сложными для маленьких моделей. Прокси конкретно решает технические препятствия, которые ранее делали их практически непригодными в качестве повседневных помощников.