AIsbf 0.9.8 fügt Caching, Routing-Verbesserungen und erweiterte KI-Dienstunterstützung hinzu.
AIsbf (AI Should Be Free) 0.9.8 ist ein API-Proxy/Router, der eine OpenAI-kompatible Schnittstelle zu verschiedenen KI-Endpunktdiensten bereitstellt und darauf abzielt, die Nutzung von LLMs kostengünstiger zu machen. Es ist mehrbenutzerfähig und kann von kleinen Einrichtungen bis hin zu großen Infrastrukturen skaliert werden.
Hauptfunktionen in Version 0.9.8
- Cache-Unterstützung für Redis, SQLite, MySQL und dateibasierte Speicherung
- Zusätzliche Methoden zur Kontextverdichtung
- Native Prompt-Caching und Anfrage-Caching-Unterstützung
- Schnelleres und verbessertes semantisches Prompt-basiertes Routing für automatische Dienstauswahl
- Volle OAuth2-Unterstützung für Claude.ai-Abonnenten
- Volle OAuth2-Unterstützung für Amazon Kiro-cli-Abonnenten
- Volle OAuth2-Unterstützung für OpenAI Codex-Abonnenten
- Volle Unterstützung für Kilo.ai-Abonnenten mit Tokens oder OAuth2
- Mehrere Fehlerbehebungen und kleinere Funktionserweiterungen
Diese Art von Werkzeug ist nützlich für Entwickler, die mit mehreren KI-Diensten arbeiten und eine einheitliche Schnittstelle wünschen, während sie durch intelligentes Routing und Caching Kosten optimieren.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Open-Source-Gedächtnissystem für LLM-Agenten erzielt hohe Benchmark-Ergebnisse
Ein persistentes Speichersystem für Claude Code und OpenClaw bietet LLM-Agenten Kontextkontinuität über Sitzungen hinweg und erreicht 90,8 % beim LoCoMo- und 89,1 % beim LongMemEval-Benchmark.
Voker launcht Agent Analytics Plattform mit Intent/Korrektur/Resolution-Prüfmitteln
Das YC S24 Startup Voker bringt eine Analyseplattform für KI-Agenten auf den Markt, die mit einem leichten SDK automatisch Benutzerabsichten, Korrekturen und Lösungen annotiert – und dabei Self-Service-Dashboards bietet, ohne für Data Engineering auf LLMs angewiesen zu sein.
LobsterBoard fügt Themesystem und Vorlagen-Galerie hinzu
LobsterBoard umfasst nun ein Themesystem mit fünf visuellen Optionen und eine Vorlagengalerie, die es Nutzern ermöglicht, Dashboard-Layouts zu exportieren und zu importieren, wobei sensible Daten automatisch entfernt werden.
Myelin: MD-Extraktor und Evaluator für prozedurales Gedächtnis von Claude-Code
Myelin ist ein MCP-Server, der sich über PostToolUse in Claude Code einklinkt, um Tool-Aufrufe zu erfassen, automatisch .md-Prozedurdateien aus erfolgreichen Sitzungen zu extrahieren und zu verfolgen, ob Claude bestehende Prozeduren Schritt für Schritt befolgt.