CAL: Open-Source Kontextoptimierungsschicht für LLM-Agenten
Was CAL macht
CAL ist eine Python-Bibliothek, die zwischen Ihrem bestehenden Code und LLM-API-Aufrufen sitzt und für jede Anfrage intelligent Kontext auswählt, komprimiert und zusammenstellt. Sie adressiert die Kosten- und Kontextprobleme in tokenlastigen Agenten-Setups, was insbesondere mit den jüngsten Änderungen bei Claude Pro/Max-Abonnements relevant ist.
Leistungsbenchmarks
Im Produktionseinsatz mit Claude Opus 4 und 103 Kontextblöcken:
- Ohne CAL: Jede Anfrage sendet alle 103 Blöcke (~23.000 Tokens) zu $0,043 pro Anfrage
- Mit CAL: Reduziert auf ~6 Blöcke und 4.100 Tokens zu $0,008 pro Anfrage
- Ergebnisse: 83% Reduktion bei Tokens, 81% Reduktion bei Kosten
Validiert mit 5.000 WildChat-Prompts (einem offenen akademischen Datensatz realer LLM-Konversationen in 57 Sprachen) mit durchschnittlich 97,6% Einsparungen.
Hauptfunktionen
- Selector: IDF-gewichtetes Scoring wählt nur relevante Blöcke pro Abfrage aus. Verwendet stabiles Präfix + dynamische Blöcke, die pro Anfrage ausgewählt werden.
- Tool Stubs: Drei-stufiges Lazy Loading von Tools mit leichtgewichtigen Stubs, bis das Modell die Absicht signalisiert, ein bestimmtes Tool zu verwenden.
- Cost Engine: Anbieterbewusster Einsparungsrechner, der Anthropics 4 Eingabestufen und Googles Cache-Speicherpreise kennt.
- Noise Suppression: IDF-Floor + Require-Any-Gates, um zu verhindern, dass häufige Wörter bei jeder Anfrage irrelevante Blöcke laden.
- Cache-Stable Ordering: Verwendet Scores nur für die Auswahl, dann alphabetische Reihenfolge für die Position, um Cache-Treffer beizubehalten.
Technische Details
Mehrfach-Kontexthandhabung: Tool Stubs sind verlaufsbewusst. Wenn das Modell in einer vorherigen Runde ein Tool verwendet hat, bleibt das vollständige Schema geladen, um die Gesprächskontinuität aufrechtzuerhalten.
Anbieterunterstützung: CAL ist anbieterunabhängig und funktioniert mit jedem Anbieter, der einen Chat-Completions-Endpunkt hat. Die Cost Engine behandelt bereits Anthropics 4 Eingabestufen und Googles Cache-Speicherpreise.
Randfälle: Verwendet IDF-Floors und Rauschunterdrückung für mehrdeutige Abfragen. Hybrides Keyword+Semantik-Scoring ist in Planung.
Installation und Lizenzierung
pip install cal-context
MIT lizenziert. PyPI: https://pypi.org/project/cal-context/
GitHub: https://github.com/vjc-lab/context-assembly-layer
📖 Read the full source: r/openclaw
👀 Siehe auch
V6rge AI Suite Update fügt NVIDIA GPU-Unterstützung und Beta-Coding-Agent hinzu
Die V6rge AI Suite hat ein Update veröffentlicht, das GPU-Erkennungsprobleme behebt, volle NVIDIA-GPU-Unterstützung für bessere Leistung hinzufügt und einen neuen Beta-Coding-Agent einführt, der Code direkt in der App generiert und unterstützt.
MetaBot: Open-Source-Brücke verbindet Claude-Code mit Telegram, Feishu und WeChat
MetaBot ist eine Open-Source-TypeScript-Brücke, die das Claude Code Agent SDK mit Messaging-Plattformen wie Telegram, Feishu und WeChat verbindet. Es bietet persistenten Speicher, geplante Aufgaben, Multi-Agenten-Kollaboration und Echtzeit-Streaming von Tool-Aufrufen.
Offline-Web-Suche: Eine lokale Google-Suchalternative für KI-Agenten
Ein Entwickler hat offline-web-search erstellt, um die schlechten Offline-Suchfähigkeiten von KI-Agenten zu verbessern. Es handelt sich um einen direkten Ersatz, der Claudes Web-Tools mit BM25-Ranking, SQLite FTS5-Indizierung sowie Unterstützung für ZIM-Archive und benutzerdefinierte Crawler nachahmt.
Ruflo: Open-Source-Plattform zum Betrieb mehrerer KI-Agenten als Team
Ruflo ist eine Open-Source-Plattform, mit der Sie viele KI-Agenten zusammenarbeiten lassen können, um als Team an komplexen Aufgaben zu arbeiten. Früher als Claude Flow bekannt, hilft es bei der Koordination von Workflows, bei denen Aufgaben in Teile zerlegt werden müssen.