AIsbf 0.9.8 fügt Caching, Routing-Verbesserungen und erweiterte KI-Dienstunterstützung hinzu.
AIsbf (AI Should Be Free) 0.9.8 ist ein API-Proxy/Router, der eine OpenAI-kompatible Schnittstelle zu verschiedenen KI-Endpunktdiensten bereitstellt und darauf abzielt, die Nutzung von LLMs kostengünstiger zu machen. Es ist mehrbenutzerfähig und kann von kleinen Einrichtungen bis hin zu großen Infrastrukturen skaliert werden.
Hauptfunktionen in Version 0.9.8
- Cache-Unterstützung für Redis, SQLite, MySQL und dateibasierte Speicherung
- Zusätzliche Methoden zur Kontextverdichtung
- Native Prompt-Caching und Anfrage-Caching-Unterstützung
- Schnelleres und verbessertes semantisches Prompt-basiertes Routing für automatische Dienstauswahl
- Volle OAuth2-Unterstützung für Claude.ai-Abonnenten
- Volle OAuth2-Unterstützung für Amazon Kiro-cli-Abonnenten
- Volle OAuth2-Unterstützung für OpenAI Codex-Abonnenten
- Volle Unterstützung für Kilo.ai-Abonnenten mit Tokens oder OAuth2
- Mehrere Fehlerbehebungen und kleinere Funktionserweiterungen
Diese Art von Werkzeug ist nützlich für Entwickler, die mit mehreren KI-Diensten arbeiten und eine einheitliche Schnittstelle wünschen, während sie durch intelligentes Routing und Caching Kosten optimieren.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Argus: Eine VS Code-Erweiterung zur Fehlerbehebung von Claude Code-Sitzungskosten und -Verhalten
Ein Entwickler hat Argus entwickelt, eine VS Code-Erweiterung, die Claude Code JSONL-Transkripte in eine Echtzeit-Zeitleiste mit detaillierten Kostenaufschlüsselungen pro Schritt, Cache-Trefferquote und Kennzeichnung von Wiederholungsschleifen, doppelten Lesevorgängen und Kontextüberlastung umwandelt.
Inline-Visualisierer: Lokale KI-Modelle können jetzt interaktive HTML-Visualisierungen rendern
Inline Visualizer ist ein BSD-3-lizenziertes Plugin für Open WebUI, das jedem lokalen KI-Modell mit Tool-Calling-Unterstützung ermöglicht, interaktive HTML/SVG-Visualisierungen direkt im Chat darzustellen, wobei eine JavaScript-Brücke es Elementen erlaubt, Nachrichten zurück an die KI zu senden.
Open-Source-Claude-Code-Plugins für agentische Handelsprotokolle
OrcaQubits hat acht Open-Source-Claude-Code-Plugins veröffentlicht, die agentische Commerce-Protokolle wie UCP, ACP, AP2 und A2A implementieren, mit MIT-Lizenz und Unterstützung für Plattformen wie Magento 2, BigCommerce und WooCommerce.
Artifactr: Lokal-first CLI-Tool zur Verwaltung von KI-Codierungsagent-Artefakten
Artifactr ist ein kostenloses, quelloffenes CLI-Tool zur Verwaltung von LLM-Artefakten wie Fähigkeiten, Befehlen und Agentendefinitionen. Es speichert Dateien in portablen Tresoren ohne Netzwerkverbindungen und unterstützt automatische Synchronisierung über Symlinks.