CAL: Open-Source Kontextoptimierungsschicht für LLM-Agenten
Was CAL macht
CAL ist eine Python-Bibliothek, die zwischen Ihrem bestehenden Code und LLM-API-Aufrufen sitzt und für jede Anfrage intelligent Kontext auswählt, komprimiert und zusammenstellt. Sie adressiert die Kosten- und Kontextprobleme in tokenlastigen Agenten-Setups, was insbesondere mit den jüngsten Änderungen bei Claude Pro/Max-Abonnements relevant ist.
Leistungsbenchmarks
Im Produktionseinsatz mit Claude Opus 4 und 103 Kontextblöcken:
- Ohne CAL: Jede Anfrage sendet alle 103 Blöcke (~23.000 Tokens) zu $0,043 pro Anfrage
- Mit CAL: Reduziert auf ~6 Blöcke und 4.100 Tokens zu $0,008 pro Anfrage
- Ergebnisse: 83% Reduktion bei Tokens, 81% Reduktion bei Kosten
Validiert mit 5.000 WildChat-Prompts (einem offenen akademischen Datensatz realer LLM-Konversationen in 57 Sprachen) mit durchschnittlich 97,6% Einsparungen.
Hauptfunktionen
- Selector: IDF-gewichtetes Scoring wählt nur relevante Blöcke pro Abfrage aus. Verwendet stabiles Präfix + dynamische Blöcke, die pro Anfrage ausgewählt werden.
- Tool Stubs: Drei-stufiges Lazy Loading von Tools mit leichtgewichtigen Stubs, bis das Modell die Absicht signalisiert, ein bestimmtes Tool zu verwenden.
- Cost Engine: Anbieterbewusster Einsparungsrechner, der Anthropics 4 Eingabestufen und Googles Cache-Speicherpreise kennt.
- Noise Suppression: IDF-Floor + Require-Any-Gates, um zu verhindern, dass häufige Wörter bei jeder Anfrage irrelevante Blöcke laden.
- Cache-Stable Ordering: Verwendet Scores nur für die Auswahl, dann alphabetische Reihenfolge für die Position, um Cache-Treffer beizubehalten.
Technische Details
Mehrfach-Kontexthandhabung: Tool Stubs sind verlaufsbewusst. Wenn das Modell in einer vorherigen Runde ein Tool verwendet hat, bleibt das vollständige Schema geladen, um die Gesprächskontinuität aufrechtzuerhalten.
Anbieterunterstützung: CAL ist anbieterunabhängig und funktioniert mit jedem Anbieter, der einen Chat-Completions-Endpunkt hat. Die Cost Engine behandelt bereits Anthropics 4 Eingabestufen und Googles Cache-Speicherpreise.
Randfälle: Verwendet IDF-Floors und Rauschunterdrückung für mehrdeutige Abfragen. Hybrides Keyword+Semantik-Scoring ist in Planung.
Installation und Lizenzierung
pip install cal-context
MIT lizenziert. PyPI: https://pypi.org/project/cal-context/
GitHub: https://github.com/vjc-lab/context-assembly-layer
📖 Read the full source: r/openclaw
👀 Siehe auch
Microsoft BitNet: 1-Bit-LLM-Inferenz-Framework für CPU und GPU
Microsoft veröffentlichte BitNet, ein Inferenz-Framework für 1-Bit-LLMs, das auf CPUs eine 1,37- bis 6,17-fache Beschleunigung erreicht und den Energieverbrauch um 55,4 % bis 82,2 % reduziert. Es kann ein 100-Milliarden-Parameter-Modell auf einer einzelnen CPU mit 5–7 Token pro Sekunde ausführen.
Observer: Offline-Agenten für Monitoring und Logging – Nutzen Sie lokale LLMs auf Ihrem Telefon
Observer ist eine Open-Source-iOS-App, die multimodale LLMs lokal auf dem Telefon ausführt, um Ereignisse zu überwachen, Daten zu protokollieren und Discord-Benachrichtigungen auszulösen – alles offline und kostenlos.
Die Claude-Code-Dokumentation enthält übermäßig viele React-Komponenten, die die Token-Anzahl aufblähen.
Eine Analyse der LLM-Dokumentation von Claude Code zeigt, dass MDX-Dateien massiv eingebettete React-Komponenten enthalten, wobei context-window.md 18.501 Tokens verwendet, aber nur 551 Tokens tatsächlichen Dokumentationsinhalt darstellen.
Wie Clawdbot 6 KI-Agenten mit einer produktionsstabilen Work Queue koordiniert
Das Team von Clawdbot entwickelte ein Arbeitssystem zur Koordination von 6 KI-Agenten (Design, Code, Marketing, Betrieb) für ihren KI-gesteuerten Shop. Das System umfasst atomare Aufgabenübernahme, einen Zustandsautomaten, Wiederholungslogik mit Backoff, Aufgabenketten, Heartbeat-Überwachung und einen Daemon-Orchestrator.