Skillware fügt prompt_rewriter für deterministische Token-Kompression in Claude API-Agenten-Schleifen hinzu
Skillware hat eine prompt_rewriter-Funktion hinzugefügt, die Claude-API-Kosten in agentenbasierten Schleifen reduziert, indem Prompts vor dem Senden an das LLM komprimiert werden. Die Middleware verwendet heuristische Komprimierung, um die Token-Nutzung um 50-80% zu senken, während deterministisches Verhalten über Iterationen hinweg beibehalten wird.
Wie es funktioniert
Das Tool fungiert als Middleware, die zwischen Ihrem Agenten und der Claude-API sitzt. Es wendet eine aggressive Komprimierung auf Prompts an, bevor sie an das LLM gesendet werden, und stellt sicher, dass Sie nur für das Signal und nicht für das Rauschen bezahlen. Da die Komprimierung deterministisch ist, bleibt das Agentenverhalten über Schleifen hinweg stabil.
Komprimierungsstufen
- Niedrig: Normalisiert Leerzeichen
- Mittel: Entfernt Gesprächsfüller (bitte, stellen Sie sicher, usw.)
- Hoch: Entfernt aggressiv Stoppwörter und nicht wesentliche Satzzeichen
Das Tool adressiert das Problem explodierender Kosten in iterativen Agentenschleifen, bei denen massive Kontextfenster zu massiven Rechnungen führen. Es ist Open-Source und auf GitHub verfügbar, wobei der Entwickler nach weiteren Funktionen, Feedback, Ideen und Beiträgen sucht.
📖 Read the full source: r/ClaudeAI
👀 Siehe auch
Homelab AI Sentinel: Selbst gehosteter Überwachungsassistent mit LLM-Integration
Homelab AI Sentinel ist ein selbst gehostetes Tool, das Überwachungs-Webhooks über ein LLM verarbeitet, um Diagnosen in einfachem Englisch zu generieren. Es unterstützt 11 Alarmquellen, 10 Benachrichtigungsplattformen und funktioniert mit jedem OpenAI-kompatiblen Endpunkt, einschließlich Ollama und LM Studio für lokale Inferenz.
Anchormd: Ein Werkzeug zur Verwaltung von Kontext über Claude AI-Sitzungen hinweg
Anchormd ist ein Open-Source-Tool, das den Kontextverlust in Claude-AI-Sitzungen behebt, indem es kuratierte Markdown-Pläne in einen durchsuchbaren Wissensgraphen indexiert. Es ermöglicht Agenten, Projektübersichten zu Sitzungsbeginn zu laden und bei Bedarf nach spezifischen Details zu suchen.
PageAgent: Browser-AI-Agent, der innerhalb von Webseiten mit Ollama-Unterstützung läuft
PageAgent ist eine JavaScript-Bibliothek, die KI-Agenten direkt innerhalb von Webseiten ausführt und dabei den Live-DOM als Text liest, anstatt Screenshots zu verwenden. Es funktioniert mit jedem OpenAI-kompatiblen Endpunkt, einschließlich Ollama, und ermöglicht lokale LLM-Aufrufe direkt aus dem Browser.
Shell eingebetteter KI-Agent: Terminal-Puffer & Overlay-Erweiterung
Open-Source-Shell mit integriertem KI-Agenten, der Terminalausgaben liest und Befehle über ein schwebendes Overlay eingibt. Unterstützt lokale und Cloud-Modelle.