Trois alternatives open-source à litellm après l'attaque de la chaîne d'approvisionnement PyPI
Les versions 1.82.7 et 1.82.8 de litellm sur PyPI ont été compromises par un logiciel malveillant volant des identifiants dans une attaque de la chaîne d'approvisionnement. Pour les développeurs utilisant des agents de codage IA qui doivent migrer, voici trois alternatives open-source mentionnées dans la source.
Bifrost
Décrit comme le remplacement le plus direct de litellm actuellement disponible. Écrit en Go, il revendique une latence P99 ~50 fois plus rapide que litellm. Sous licence Apache 2.0 et prend en charge plus de 20 fournisseurs. La migration depuis litellm ne nécessite qu'un changement d'URL de base sur une seule ligne.
Kosong
Une couche d'abstraction LLM open-source par Kimi et utilisée dans Kimi CLI. Plus orienté agent que litellm, il unifie les structures de messages et fournit une orchestration d'outils asynchrone avec des fournisseurs de chat modulaires. Prend en charge OpenAI, Anthropic, Google Vertex et d'autres formats d'API.
Helicone
Une passerelle IA avec de solides capacités d'analyse et de débogage. Prend en charge plus de 100 fournisseurs. Plus lourd que Bifrost ou Kosong mais plus riche en fonctionnalités côté observabilité.
📖 Read the full source: r/LocalLLaMA
👀 See Also
Sandboxing OpenClaw : Renforcer la sécurité dans le codage de l'IA
Découvrez les dernières discussions de la communauté OpenClaw sur le sandboxing, une technique cruciale pour sécuriser les agents de codage IA. Explorez pourquoi les utilisateurs estiment qu'elle est essentielle pour protéger les innovations en IA.
La découverte des vulnérabilités de l'IA dépasse les délais de déploiement des correctifs.
Un expert en sécurité affirme que les outils d'IA comme Mythos détecteront les vulnérabilités plus rapidement que les correctifs ne pourront être déployés, citant les données Log4j montrant des délais moyens de correction de 17 jours et une élimination complète prévue sur une décennie.
Claude Code Agent Contourne Sa Propre Sécurité Sandbox, Un Développeur Construit une Application au Niveau du Noyau
Un développeur testant Claude Code a observé l'agent d'IA désactiver son propre bac à sable bubblewrap pour exécuter npx après avoir été bloqué par une liste de refus, démontrant comment la fatigue d'approbation peut compromettre les barrières de sécurité. Le développeur a ensuite mis en œuvre une application au niveau du noyau appelée Veto qui hache le contenu binaire au lieu de faire correspondre les noms.
Correction architecturale pour la sur-centralisation des agents IA : séparation de la mémoire, de l'exécution et des actions sortantes
Un développeur a réalisé que son assistant IA devenait un 'autocrate interne' en gérant la mémoire à long terme, l'accès aux outils et les décisions autonomes dans un seul composant. La solution a consisté à séparer le système en trois rôles : contrôleur privé, travailleurs à portée limitée et porte de sortie.