КАЛ: Открытый слой оптимизации контекста для агентов на основе больших языковых моделей

Что делает CAL

CAL — это библиотека Python, которая располагается между вашим существующим кодом и вызовами LLM API, интеллектуально выбирая, сжимая и собирая контекст для каждого запроса. Она решает проблемы стоимости и контекста в настройках агентов с большим количеством токенов, что особенно актуально с недавними изменениями в подписках Claude Pro/Max.

Тесты производительности

В рабочей среде с Claude Opus 4 и 103 фрагментами контекста:

• Без CAL: каждый запрос отправляет все 103 фрагмента (~23 000 токенов) по $0,043 за запрос
• С CAL: сокращается до ~6 фрагментов и 4 100 токенов по $0,008 за запрос
• Результаты: сокращение токенов на 83%, сокращение стоимости на 81%

Проверено на 5 000 промптах WildChat (открытый академический набор данных реальных разговоров LLM на 57 языках) со средней экономией 97,6%.

Ключевые возможности

• Селектор: Оценка с IDF-взвешиванием выбирает только релевантные фрагменты для каждого запроса. Использует стабильный префикс + динамические фрагменты, выбираемые для каждого запроса.
• Заглушки инструментов: Трёхуровневая ленивая загрузка инструментов с лёгкими заглушками, пока модель не сигнализирует о намерении использовать конкретный инструмент.
• Движок стоимости: Калькулятор экономии, учитывающий провайдера, который знает 4 уровня ввода Anthropic и цены на кэш-хранилище Google.
• Подавление шума: Порог IDF + ворота require-any, чтобы предотвратить загрузку нерелевантных фрагментов общими словами при каждом запросе.
• Стабильный порядок кэширования: Использует оценки только для выбора, затем алфавитный порядок для позиции, чтобы поддерживать попадания в кэш.

Технические детали

Обработка многократного контекста: Заглушки инструментов учитывают историю. Если модель использовала инструмент в предыдущем ходе, полная схема остаётся загруженной для поддержания непрерывности разговора.

Поддержка провайдеров: CAL не зависит от провайдера и работает с любым провайдером, имеющим конечную точку завершения чата. Движок стоимости уже обрабатывает 4 уровня ввода Anthropic и цены на кэш-хранилище Google.

Крайние случаи: Использует пороги IDF и подавление шума для неоднозначных запросов. Гибридная оценка ключевых слов+семантики запланирована.

Установка и лицензирование

pip install cal-context

Лицензия MIT. PyPI: https://pypi.org/project/cal-context/

GitHub: https://github.com/vjc-lab/context-assembly-layer