AIsbf 0.9.8 ajoute la mise en cache, des améliorations de routage et un support élargi des services d'IA.
AIsbf (AI Should Be Free) 0.9.8 est un proxy/routeur API qui fournit une interface compatible OpenAI à divers services de point de terminaison d'IA, visant à rendre l'utilisation des LLM plus rentable. Il est multi-utilisateur et peut évoluer de petites configurations à de grandes infrastructures.
Fonctionnalités clés de la version 0.9.8
- Prise en charge du cache pour Redis, SQLite, MySQL et le stockage basé sur des fichiers
- Méthodes supplémentaires de condensation de contexte
- Prise en charge native du cache des invites et du cache des requêtes
- Routage sémantique basé sur les invites plus rapide et amélioré pour la sélection automatique des services
- Prise en charge complète d'OAuth2 pour les abonnés de Claude.ai
- Prise en charge complète d'OAuth2 pour les abonnés d'Amazon Kiro-cli
- Prise en charge complète d'OAuth2 pour les abonnés d'OpenAI Codex
- Prise en charge complète pour les abonnés de Kilo.ai utilisant des jetons ou OAuth2
- Plusieurs corrections de bogues et ajouts de fonctionnalités mineures
Ce type d'outil est utile pour les développeurs qui travaillent avec plusieurs services d'IA et souhaitent une interface unifiée tout en optimisant les coûts grâce à un routage et une mise en cache intelligents.
📖 Read the full source: r/LocalLLaMA
👀 See Also
OpenJet v0.4 : Agent de codage local sans configuration avec backend llama.cpp
OpenJet v0.4 est un agent de codage en terminal open source pour LLM locaux qui détecte automatiquement le matériel, configure llama.cpp et offre un workflow de type Claude Code sans clés API.
Mon Agent s'est Construit un Système d'Intéroception — Maintenant, Il a des Désirs
Aucun
Compétence de balayage de sécurité pour les agents d'IA de codage vérifiant automatiquement les déploiements
Un développeur a créé un fichier de compétence qui permet aux agents d'IA de codage d'analyser automatiquement leurs propres déploiements pour détecter des problèmes de sécurité comme des secrets exposés, des ports ouverts, des en-têtes de sécurité manquants et du code source divulgué. L'analyse s'exécute après chaque déploiement et prend environ 30 secondes.
SoulPrint : Outil Local pour Rechercher l'Historique de Claude et ChatGPT Simultanément
SoulPrint est un outil Python open-source qui importe les exportations de conversations de Claude (.json) et ChatGPT (.zip) dans une archive SQLite locale, permettant une recherche en texte intégral sur les deux fournisseurs simultanément avec un classement BM25 et des extraits surlignés.