agentcache: Biblioteca de Python para Caché de Prefijos de LLM Multi-Agente
agentcache es una biblioteca de Python diseñada para optimizar sistemas de LLM multiagente implementando el almacenamiento en caché de prefijos como una característica principal. La biblioteca aborda el problema común en el que marcos como CrewAI, AutoGen y open-multi-agent crean sesiones nuevas para cada trabajador, resultando en cero aciertos de caché y costos duplicados de prompts.
Cómo funciona
La biblioteca opera con un enfoque basado en bifurcaciones en lugar de crear sesiones separadas:
- Inicia una sesión con un prompt del sistema compartido
- Realiza la primera llamada: el proveedor calcula y almacena en caché el prefijo
- Cuando necesitas N trabajadores, bifurca en lugar de crear N sesiones nuevas
- Sesión principal: [sistema, msg1, msg2, ...]
- Sesión bifurcada: [sistema, msg1, msg2, ..., TAREA_TRABAJADOR]
- Prefijo exactamente igual = acierto de caché
Características principales
- Bifurcaciones seguras para caché: Mantiene prefijos idénticos entre sesiones de trabajadores
- Detección de ruptura de caché: Compara instantáneas e informa exactamente qué cambió cuando caen los aciertos de caché
- Compactación segura para caché: Para sesiones de larga duración, escanea resultados antiguos de herramientas antes de cada llamada y reemplaza resultados grandes con marcadores deterministas para mantener un contexto más pequeño mientras preserva prefijos almacenables en caché
- Congelación de parámetros: Congela parámetros relevantes para caché antes de bifurcar (prompt del sistema, modelo, herramientas, mensajes, configuración de razonamiento)
- Programación de DAG de tareas: Permite trabajadores paralelos desde una sesión en caché
Resultados de rendimiento
En una prueba directa con GPT-4o-mini (coordinador + 3 trabajadores, misma tarea):
- Inyección de texto / sesiones separadas: 0% aciertos de caché, 85.7 segundos
- Bifurcaciones de prefijos: 75.8% aciertos de caché, 37.4 segundos
- Las tasas de acierto de caché por trabajador típicamente oscilan entre 80-99%
Instalación y uso
Instala mediante pip:
pip install "git+https://github.com/masteragentcoder/agentcache.git@main"La biblioteca está disponible en GitHub en github.com/masteragentcoder/agentcache.
📖 Read the full source: r/LocalLLaMA
👀 Ver también
Memoria de Papilas Gustativas: Memoria de Agente Reversible mediante Vectores de Cómputo Hiperdimensional
La computación hiperdimensional reemplaza la búsqueda vectorial para un recuerdo completo: lista TODOS los días que tocan un proyecto, detecta flujos de trabajo sin nombre y descompone registros diarios sin pérdida mediante productos punto.
Axe: Una CLI de 12MB para Agentes LLM de Propósito Único
Axe es un binario ligero de Go que ejecuta agentes de IA enfocados definidos en archivos TOML. Trata a los agentes como programas Unix, admitiendo tuberías de entrada estándar, delegación de subagentes e integración de LLM de múltiples proveedores.
Toolport: Una puerta de enlace local para gestionar servidores MCP una vez en todas las aplicaciones
Toolport es una aplicación de escritorio gratuita y de código abierto, y una puerta de enlace local que centraliza las configuraciones de servidores MCP, almacena claves API en el llavero del sistema operativo y añade capas de seguridad para agentes de IA.
La Herramienta Creadora de Habilidades para OpenClaw Ayuda a los Desarrolladores a Empaquetar Flujos de Trabajo
Un desarrollador creó una habilidad llamada skills-creator que guía a los usuarios en la creación de habilidades de calidad para OpenClaw, abordando problemas comunes como descripciones vagas e instrucciones que parecen documentación. Está disponible en ClawHub y ofrece un enfoque basado en diseño con fórmulas de descripción, listas de verificación y niveles de complejidad.