Шлюз контекста: открытый прокси для сжатия контекста ИИ-агентов

Что делает Context Gateway

Context Gateway — это агентский прокси, который располагается между AI-агентами для программирования (такими как Claude Code, OpenClaw или Cursor) и API LLM. Когда выходные данные инструментов, такие как чтение файлов или результаты grep, сбрасывают тысячи токенов в контекстное окно, прокси сжимает этот контент до того, как он достигнет LLM. Мотивация исходит из исследований, показывающих, что бенчмарки с длинным контекстом испытывают резкое падение точности по мере роста контекста — оценка GPT-5.4 от OpenAI, как сообщается, падает с 97,2% при 32 тыс. токенов до 36,6% при 1 млн токенов.

Как работает сжатие

Система использует небольшие языковые модели (SLM), которые анализируют внутренности модели и обучают классификаторы для обнаружения частей контекста, несущих наибольший сигнал. Когда инструмент возвращает вывод, сжатие происходит с учётом намерения вызова инструмента. Например, если агент вызвал grep для поиска шаблонов обработки ошибок, SLM сохраняет соответствующие совпадения и удаляет остальное. Если модели позже понадобится что-то, что было удалено, она может вызвать expand(), чтобы получить исходный вывод.

Ключевые особенности и настройка

• Фоновое сжатие: Запускается при заполнении окна на 85%, с предварительно вычисленными сводками, чтобы не ждать сжатия
• Ленивая загрузка описаний инструментов: Модель видит только инструменты, релевантные текущему шагу
• Лимиты расходов: Контролируйте затраты с помощью бюджетных ограничений
• Панель управления: Отслеживайте текущие и прошлые сессии
• Уведомления в Slack: Получайте оповещения, когда агент ждёт вас
• Поддерживаемые агенты: Claude Code, Cursor, OpenClaw или пользовательские конфигурации

Начало работы

Установите с помощью:

curl -fsSL https://compresr.ai/api/install | sh

Затем запустите context-gateway, чтобы запустить интерактивный TUI-мастер, который поможет вам:

• Выбрать агента (claude_code, cursor, openclaw или пользовательский)
• Создать/редактировать конфигурацию, включая модель-суммаризатор и API-ключ
• Включить уведомления в Slack при необходимости
• Установить порог срабатывания для сжатия (по умолчанию: 75%)

Инструмент является открытым исходным кодом, написан в основном на Go (90,9%) и поддерживается Compresr, компанией, поддержанной YC. Вы можете проверить логи сжатия в logs/history_compaction.jsonl, чтобы увидеть, что происходит под капотом.