agentcache: Python-Bibliothek für Multi-Agent-LLM-Präfix-Caching
agentcache ist eine Python-Bibliothek, die darauf ausgelegt ist, Multi-Agenten-LLM-Systeme durch die Implementierung von Präfix-Caching als Kernfunktion zu optimieren. Die Bibliothek behebt das häufige Problem, bei dem Frameworks wie CrewAI, AutoGen und open-multi-agent für jeden Worker neue Sitzungen erstellen, was zu null Cache-Treffern und doppelten Prompt-Kosten führt.
So funktioniert es
Die Bibliothek arbeitet mit einem Fork-basierten Ansatz anstelle der Erstellung separater Sitzungen:
- Starte eine Sitzung mit einem gemeinsamen System-Prompt
- Mache den ersten Aufruf – der Anbieter berechnet und speichert das Präfix zwischen
- Wenn du N Worker benötigst, forke stattdessen, anstatt N neue Sitzungen zu erstellen
- Eltern-Sitzung: [System, Nachricht1, Nachricht2, ...]
- Geforkte Sitzung: [System, Nachricht1, Nachricht2, ..., WORKER_AUFGABE]
- Exakt dasselbe Präfix = Cache-Treffer
Hauptmerkmale
- Cache-sichere Forks: Behält identische Präfixe über Worker-Sitzungen hinweg bei
- Cache-Bruch-Erkennung: Vergleicht Snapshots und meldet genau, was sich geändert hat, wenn die Cache-Trefferquote sinkt
- Cache-sichere Komprimierung: Für lang laufende Sitzungen werden vor jedem Aufruf alte Tool-Ausgaben gescannt und große Ergebnisse durch deterministische Platzhalter ersetzt, um einen kleineren Kontext bei gleichbleibenden cachefähigen Präfixen zu erhalten
- Parameter-Einfrieren: Friert cache-relevante Parameter vor dem Forken ein (System-Prompt, Modell, Tools, Nachrichten, Reasoning-Konfiguration)
- Task-DAG-Planung: Ermöglicht parallele Worker aus einer zwischengespeicherten Sitzung
Leistungsergebnisse
In einem direkten Vergleichstest mit GPT-4o-mini (Koordinator + 3 Worker, gleiche Aufgabe):
- Text-Injektion / separate Sitzungen: 0 % Cache-Treffer, 85,7 Sekunden
- Präfix-Forks: 75,8 % Cache-Treffer, 37,4 Sekunden
- Die Cache-Trefferquoten pro Worker liegen typischerweise zwischen 80–99 %
Installation und Verwendung
Installation über pip:
pip install "git+https://github.com/masteragentcoder/agentcache.git@main"Die Bibliothek ist auf GitHub unter github.com/masteragentcoder/agentcache verfügbar.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Kurzfassung schlägt Höhlenmensch-Plugin im Claude-Code-Kompressions-Benchmark
Ein Benchmark mit 24 Prompts zeigt, dass Claude Codes Höhlenmenschen-Komprimierungs-Plugin dieselbe Token-Anzahl und Qualität liefert wie das einfache Voranstellen von „sei kurz.“ – aber die konsistente Ausgabeform und Sicherheitsregeln des Plugins bieten strukturelle Vorteile.
Cloudflare's vinext: Ein mit Next.js kompatibles Framework, das mit KI auf Vite aufgebaut ist
Cloudflare-Ingenieure haben die Next.js-API-Oberfläche mit KI in einer Woche auf Vite neu aufgebaut und vinext geschaffen – einen direkten Ersatz, der 4-mal schneller baut und 57 % kleinere Bundles erzeugt. Es wird mit einem einzigen Befehl auf Cloudflare Workers deployed.
Sovr MCP Proxy fügt eine Sicherheitsschicht hinzu, um zerstörerische LLM-Befehle zu verhindern.
Ein Entwickler baute sovr-mcp-proxy, nachdem ein lokales LLM beinahe rm -rf in seinem Home-Verzeichnis ausgeführt hätte. Das Tool fängt Befehle vor der Ausführung ab und blockt zerstörerische Muster wie rm -rf, DROP TABLE, curl | sh und chmod 777.
Claude-Code-Plugin für Reddit-Marktforschung ohne API-Schlüssel
Ein Claude Code-Plugin automatisiert die Reddit-Marktforschung, indem es Threads durchsucht, Inhalte analysiert und Markdown-Berichte mit direkten Links erstellt. Es benötigt keinen Reddit-API-Schlüssel, Authentifizierung oder Konfigurationsdateien und nutzt öffentliche Daten über einen lokalen MCP-Server.