agentcache: Biblioteca de Python para Caché de Prefijos de LLM Multi-Agente

agentcache es una biblioteca de Python diseñada para optimizar sistemas de LLM multiagente implementando el almacenamiento en caché de prefijos como una característica principal. La biblioteca aborda el problema común en el que marcos como CrewAI, AutoGen y open-multi-agent crean sesiones nuevas para cada trabajador, resultando en cero aciertos de caché y costos duplicados de prompts.

Cómo funciona

La biblioteca opera con un enfoque basado en bifurcaciones en lugar de crear sesiones separadas:

• Inicia una sesión con un prompt del sistema compartido
• Realiza la primera llamada: el proveedor calcula y almacena en caché el prefijo
• Cuando necesitas N trabajadores, bifurca en lugar de crear N sesiones nuevas
• Sesión principal: [sistema, msg1, msg2, ...]
• Sesión bifurcada: [sistema, msg1, msg2, ..., TAREA_TRABAJADOR]
• Prefijo exactamente igual = acierto de caché

Características principales

• Bifurcaciones seguras para caché: Mantiene prefijos idénticos entre sesiones de trabajadores
• Detección de ruptura de caché: Compara instantáneas e informa exactamente qué cambió cuando caen los aciertos de caché
• Compactación segura para caché: Para sesiones de larga duración, escanea resultados antiguos de herramientas antes de cada llamada y reemplaza resultados grandes con marcadores deterministas para mantener un contexto más pequeño mientras preserva prefijos almacenables en caché
• Congelación de parámetros: Congela parámetros relevantes para caché antes de bifurcar (prompt del sistema, modelo, herramientas, mensajes, configuración de razonamiento)
• Programación de DAG de tareas: Permite trabajadores paralelos desde una sesión en caché

Resultados de rendimiento

En una prueba directa con GPT-4o-mini (coordinador + 3 trabajadores, misma tarea):

• Inyección de texto / sesiones separadas: 0% aciertos de caché, 85.7 segundos
• Bifurcaciones de prefijos: 75.8% aciertos de caché, 37.4 segundos
• Las tasas de acierto de caché por trabajador típicamente oscilan entre 80-99%

Instalación y uso

Instala mediante pip:

pip install "git+https://github.com/masteragentcoder/agentcache.git@main"

La biblioteca está disponible en GitHub en github.com/masteragentcoder/agentcache.