Когтевой Компактор: 14-ступенчатый движок сжатия токенов для конвейеров LLM

✍️ OpenClawRadar📅 Опубликовано: 18 марта 2026 г.🔗 Source
Когтевой Компактор: 14-ступенчатый движок сжатия токенов для конвейеров LLM
Ad

Что такое Claw Compactor?

Claw Compactor — это движок сжатия токенов LLM с открытым исходным кодом, построенный вокруг 14-ступенчатого Fusion Pipeline. Каждая ступень представляет собой специализированный компрессор — от анализа кода с учётом AST до статистической выборки JSON и дедупликации на основе simhash — связанные через неизменяемую архитектуру потока данных, где выход каждой ступени передаётся на следующую.

Детали архитектуры

Fusion Pipeline включает следующие ступени:

  • QuantumLock → Cortex → Photon → RLE → SemanticDedup → Ionizer
  • LogCrunch → SearchCrunch → DiffCrunch → StructuralCollapse
  • Neurosyntax → Nexus → TokenOpt → Abbrev

Ключевые принципы проектирования:

  • Неизменяемый поток данных — FusionContext представляет собой замороженный dataclass. Каждая ступень создаёт новый FusionResult; ничего не изменяется на месте.
  • Проверка перед сжатием — Каждая ступень имеет метод should_apply(), который проверяет тип контекста, язык и роль перед выполнением работы. Ступени, которые не применимы, пропускаются без затрат.
  • Контент-ориентированная маршрутизация — Cortex автоматически определяет тип контента (код, JSON, логи, диффы, результаты поиска) и язык (Python, Go, Rust, TypeScript и др.), после чего последующие ступени принимают решения о сжатии с учётом типа.
  • Обратимое сжатие — Ionizer сохраняет оригиналы в хранилище RewindStore с хеш-адресацией. LLM может вызвать инструмент для извлечения любого сжатого раздела по его маркерному ID.
Ad

Результаты тестирования

Сжатие в реальных условиях (FusionEngine v7 vs Legacy Regex):

  • Исходный код Python: сжатие 25.0% (улучшение в 3.4 раза по сравнению с legacy)
  • JSON (100 элементов): сжатие 81.9% (улучшение в 6.5 раз)
  • Логи сборки: сжатие 24.1% (улучшение в 4.4 раза)
  • Диалог агента: сжатие 31.0% (улучшение в 5.4 раза)
  • Git diff: сжатие 15.0% (улучшение в 2.4 раза)
  • Результаты поиска: сжатие 40.7% (улучшение в 7.7 раз)
  • Взвешенное среднее: сжатие 53.9% (улучшение в 5.9 раз)

Реальные задачи SWE-bench:

  • django__django-11620 (4.5K): сжатие 14.5%
  • sympy__sympy-14396 (5.5K): сжатие 19.1%
  • scikit-learn-25747 (11.8K): сжатие 15.9%
  • scikit-learn-13554 (73K): сжатие 11.8%
  • scikit-learn-25308 (81K): сжатие 14.4%

vs LLMLingua-2 (ROUGE-L Fidelity):

  • Степень сжатия 0.3 (агрессивная): Claw Compactor 0.653 vs LLMLingua-2 0.346 (+88.2%)
  • Степень сжатия 0.5 (сбалансированная): Claw Compactor 0.723 vs LLMLingua-2 0.570 (+26.8%)

Быстрый старт

git clone https://github.com/open-compress/claw-compactor.git
cd claw-compactor
# Протестируйте ваше рабочее пространство (без изменений)
python3 scripts/mem_compress.py /path/to/workspace benchmark
# Полный конвейер сжатия
python3 scripts/mem_compress.py /path/to/workspace full

Требования: Python 3.9+. Опционально: pip install tiktoken для точного подсчёта токенов.

Использование API

from scripts.lib.fusion.engine import FusionEngine

engine = FusionEngine() result = engine.compress( text="def hello(): \n # greeting function \n print('hello')", content_type="code", # или позвольте Cortex автоматически определить language="python", # опциональная подсказка ) print(result["compressed"]) # сжатый вывод print(result["stats"]) # статистика по ступеням

📖 Read the full source: HN LLM Tools

Ad

👀 Смотрите также

Когтевой Код-Агент: Переписывание архитектуры кода Клода на Python для локальных моделей
Инструменты

Когтевой Код-Агент: Переписывание архитектуры кода Клода на Python для локальных моделей

Claw Code Agent — это реализация архитектуры агента Claude Code на Python, которая работает с локальными моделями с открытым исходным кодом через совместимые с OpenAI бэкенды, такие как vLLM и Ollama, и включает вызов инструментов, слеш-команды и многоуровневые разрешения.

OpenClawRadar
Rift: лучшая альтернатива Git Worktrees с мгновенными снимками копирования при записи
Инструменты

Rift: лучшая альтернатива Git Worktrees с мгновенными снимками копирования при записи

Rift использует снапшоты btrfs или APFS для мгновенного создания компактных копий репозиториев Git. Инициализация, создание и просмотр через CLI или JavaScript FFI.

OpenClawRadar
Codex Chrome Extension добавляет фоновую автоматизацию браузера между вкладками
Инструменты

Codex Chrome Extension добавляет фоновую автоматизацию браузера между вкладками

Новое расширение Codex для Chrome на macOS/Windows позволяет выполнять параллельные задачи в фоновых вкладках, не захватывая браузер — включая отладку, работу с дашбордами, исследования и обновление CRM.

OpenClawRadar
Результаты тестирования небольших локальных моделей и моделей OpenRouter на задаче агентного преобразования текста в SQL
Инструменты

Результаты тестирования небольших локальных моделей и моделей OpenRouter на задаче агентного преобразования текста в SQL

Разработчик протестировал несколько небольших локальных моделей и моделей OpenRouter с использованием пользовательского агентного бенчмарка text-to-SQL, который преобразует английские запросы в SQL с раундами отладки. Бенчмарк включает 25 вопросов, выполняется менее чем за 5 минут и выявляет лучшие модели, такие как kimi-k2.5 и варианты Qwen 3.5.

OpenClawRadar