CAL: Capa de Optimización de Contexto de Código Abierto para Agentes de LLM

Qué hace CAL

CAL es una biblioteca de Python que se sitúa entre tu código existente y las llamadas a la API de LLM, seleccionando, comprimiendo y ensamblando el contexto de manera inteligente para cada solicitud. Aborda los problemas de costo y contexto en configuraciones de agentes con alto uso de tokens, especialmente relevantes con los cambios recientes en las suscripciones Claude Pro/Max.

Benchmarks de Rendimiento

En producción con Claude Opus 4 y 103 fragmentos de contexto:

• Sin CAL: Cada solicitud envía los 103 fragmentos (~23,000 tokens) a $0.043 por solicitud
• Con CAL: Se reduce a ~6 fragmentos y 4,100 tokens a $0.008 por solicitud
• Resultados: Reducción del 83% en tokens, reducción del 81% en costo

Validado con 5,000 prompts de WildChat (un conjunto de datos académico abierto de conversaciones reales de LLM en 57 idiomas) con un ahorro promedio del 97.6%.

Características Principales

• Selector: La puntuación ponderada por IDF selecciona solo los fragmentos relevantes por consulta. Utiliza prefijo estable + fragmentos dinámicos seleccionados por solicitud.
• Esbozos de Herramientas: Carga perezosa de herramientas de tres niveles con esbozos ligeros hasta que el modelo señala la intención de usar una herramienta específica.
• Motor de Costos: Calculadora de ahorros consciente del proveedor que conoce los 4 niveles de entrada de Anthropic y los precios de almacenamiento en caché de Google.
• Supresión de Ruido: Piso IDF + compuertas require-any para evitar que palabras comunes carguen fragmentos irrelevantes en cada solicitud.
• Ordenación Estable en Caché: Usa puntuaciones solo para selección, luego orden alfabético para posición para mantener los aciertos de caché.

Detalles Técnicos

Manejo de contexto multi-turn: Los esbozos de herramientas son conscientes del historial. Si el modelo usó una herramienta en un turno anterior, el esquema completo permanece cargado para mantener la continuidad de la conversación.

Soporte de proveedores: CAL es agnóstico al proveedor y funciona con cualquier proveedor que tenga un endpoint de finalización de chat. El motor de costos ya maneja los 4 niveles de entrada de Anthropic y los precios de almacenamiento en caché de Google.

Casos límite: Usa pisos IDF y supresión de ruido para consultas ambiguas. La puntuación híbrida de palabras clave+semántica está en la hoja de ruta.

Instalación y Licencia

pip install cal-context

Licencia MIT. PyPI: https://pypi.org/project/cal-context/

GitHub: https://github.com/vjc-lab/context-assembly-layer