AIsbf 0.9.8 ajoute la mise en cache, des améliorations de routage et un support élargi des services d'IA.
AIsbf (AI Should Be Free) 0.9.8 est un proxy/routeur API qui fournit une interface compatible OpenAI à divers services de point de terminaison d'IA, visant à rendre l'utilisation des LLM plus rentable. Il est multi-utilisateur et peut évoluer de petites configurations à de grandes infrastructures.
Fonctionnalités clés de la version 0.9.8
- Prise en charge du cache pour Redis, SQLite, MySQL et le stockage basé sur des fichiers
- Méthodes supplémentaires de condensation de contexte
- Prise en charge native du cache des invites et du cache des requêtes
- Routage sémantique basé sur les invites plus rapide et amélioré pour la sélection automatique des services
- Prise en charge complète d'OAuth2 pour les abonnés de Claude.ai
- Prise en charge complète d'OAuth2 pour les abonnés d'Amazon Kiro-cli
- Prise en charge complète d'OAuth2 pour les abonnés d'OpenAI Codex
- Prise en charge complète pour les abonnés de Kilo.ai utilisant des jetons ou OAuth2
- Plusieurs corrections de bogues et ajouts de fonctionnalités mineures
Ce type d'outil est utile pour les développeurs qui travaillent avec plusieurs services d'IA et souhaitent une interface unifiée tout en optimisant les coûts grâce à un routage et une mise en cache intelligents.
📖 Read the full source: r/LocalLLaMA
👀 See Also
Résultats pratiques de 11 constructions logicielles multi-agents sans échafaudage programmatique
L'analyse de 11 constructions multi-agents autonomes montre que l'application du périmètre fonctionne mécaniquement (20/20 succès) et non via des prompts (0/20), les coûts d'orchestration sont dominés par la ré-ingestion de mémoire (~95% des dépenses d'entrée), et la capacité du modèle de travailleur crée des écarts de débit de 9,8x.
Interface utilisateur et serveur pour les autoencodeurs en langage naturel d'Anthropic sur llama.cpp
Un serveur llama.cpp personnalisé et une interface Mikupad pour les autoencodeurs en langage naturel à poids ouverts d'Anthropic, prenant en charge l'extraction d'activations, l'explication, la reconstruction et le guidage par édition d'explications.
Le dépôt open-source en markdown offre à Claude une mémoire persistante entre les sessions.
Mon Cerveau Portable est une structure de coffre-fort en markdown avec une couche d'exécution d'agent qui fournit à Claude un contexte persistant sur l'identité, les projets, les objectifs, le CRM et les plans hebdomadaires. Il fonctionne nativement avec Claude Code et Claude Cowork, utilise des fichiers markdown simples et exécute des scripts en arrière-plan chaque nuit pour maintenir le contexte à jour.
Index de code local pour les agents de codage : résout les imports sans serveur de langage
Basemind est un outil Rust sous licence MIT qui indexe le code local et résout les imports sans serveur de langage, prenant en charge la résolution réelle pour JS/TS, Python et Java.