AIsbf 0.9.8 fügt Caching, Routing-Verbesserungen und erweiterte KI-Dienstunterstützung hinzu.
AIsbf (AI Should Be Free) 0.9.8 ist ein API-Proxy/Router, der eine OpenAI-kompatible Schnittstelle zu verschiedenen KI-Endpunktdiensten bereitstellt und darauf abzielt, die Nutzung von LLMs kostengünstiger zu machen. Es ist mehrbenutzerfähig und kann von kleinen Einrichtungen bis hin zu großen Infrastrukturen skaliert werden.
Hauptfunktionen in Version 0.9.8
- Cache-Unterstützung für Redis, SQLite, MySQL und dateibasierte Speicherung
- Zusätzliche Methoden zur Kontextverdichtung
- Native Prompt-Caching und Anfrage-Caching-Unterstützung
- Schnelleres und verbessertes semantisches Prompt-basiertes Routing für automatische Dienstauswahl
- Volle OAuth2-Unterstützung für Claude.ai-Abonnenten
- Volle OAuth2-Unterstützung für Amazon Kiro-cli-Abonnenten
- Volle OAuth2-Unterstützung für OpenAI Codex-Abonnenten
- Volle Unterstützung für Kilo.ai-Abonnenten mit Tokens oder OAuth2
- Mehrere Fehlerbehebungen und kleinere Funktionserweiterungen
Diese Art von Werkzeug ist nützlich für Entwickler, die mit mehreren KI-Diensten arbeiten und eine einheitliche Schnittstelle wünschen, während sie durch intelligentes Routing und Caching Kosten optimieren.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Claude Code Sitzungsdatenverlust: Backup-Skript für Windows & Mac
Nutzer berichten, dass Claude Code stillschweigend Sitzungsdaten verliert. Hier ist ein kostenloses, automatisiertes Backup-Skript für Windows und Mac mit PowerShell und launchd.
CLAUDE.md: Drop-in-Datei reduziert Claude-Ausgabetokens um 63%
CLAUDE.md ist eine einzelne Datei, die die Ausführlichkeit der Claude-Ausgaben um etwa 63 % reduziert, ohne Codeänderungen. Sie zielt auf Schmeichelei, Weitschweifigkeit und Formatierungsrauschen in Claudes Antworten ab.
Flotilla v0.5.0 überarbeitet die Hintergrundausführung, um die Kreditlimits des Claude SDK zu umgehen
Flotilla v0.5.0 ersetzt die sequenzielle Agentenausführung durch nicht-blockierende parallele Schleifen, 30-minütige Zeitlimits pro Agent und lokale Delegierung, um SDK-Guthaben zu sparen.
Claw Code Agent: Python-Neuimplementierung der Claude-Code-Architektur für lokale Modelle
Claw Code Agent ist eine Python-Neuimplementierung der Claude-Code-Agent-Architektur, die mit lokalen Open-Source-Modellen über OpenAI-kompatible Backends wie vLLM und Ollama läuft und Funktionen wie Tool-Aufrufe, Slash-Befehle und gestufte Berechtigungen bietet.