Bifrost LLM Gateway : 11 microsecondes de surcoût, binaire unique en Go
Qu'est-ce que Bifrost
Bifrost est un proxy LLM prêt à l'emploi écrit en Go, conçu spécifiquement pour les environnements auto-hébergés. Il achemine les requêtes vers OpenAI, Anthropic, Azure, Bedrock et d'autres fournisseurs tout en gérant la bascule, la mise en cache et les contrôles budgétaires.
Benchmarks de performance
Le développeur a mesuré une capacité soutenue de 5 000 requêtes par seconde :
- Bifrost (Go) : ~11 microsecondes de surcharge par requête
- LiteLLM (Python) : ~8 millisecondes de surcharge par requête
Cela représente environ 700 fois moins de surcharge.
Comparaison de l'utilisation mémoire
À même débit :
- Bifrost : ~50 Mo de RAM de base, reste stable sous charge
- LiteLLM : ~300-400 Mo de base, atteint 800 Mo+ en cas de trafic intense
Le développeur note que l'exécution de LiteLLM à plus de 2 000 RPS nécessite une mise à l'échelle horizontale et des instances importantes, tandis que Bifrost gère 5 000 RPS sur un VPS à 20 $/mois.
Stabilité sous charge
Les performances de Bifrost restent constantes sous charge, avec la même latence à 100 RPS ou 5 000 RPS. En revanche, LiteLLM devient imprévisible lors des pics de trafic : la variance de latence augmente, la mémoire monte en flèche et les pauses du ramasse-miettes surviennent au pire moment.
Fonctionnalités uniques
Bifrost inclut une passerelle MCP qui connecte plus de 10 serveurs d'outils MCP, gère la découverte, l'espace de noms, les contrôles de santé et le filtrage des outils par requête. LiteLLM ne prend pas en charge MCP.
Déploiement et migration
Le déploiement se fait avec un seul binaire, sans environnements virtuels Python, sans problèmes de dépendances et sans Docker requis. Vous le copiez sur le serveur et vous l'exécutez.
Pour la migration, l'API est compatible avec OpenAI. Vous changez l'URL de base et conservez le code existant, la plupart des migrations prenant moins d'une heure.
Disponibilité open source
Le projet est open source et disponible sur github.com/maximhq/bifrost.
📖 Lire la source complète : r/clawdbot
👀 See Also
Brunnfeld Agentic World : Simulation d'Économie Médiévale Multi-Agents Sans Invitations Comportementales
Une simulation TypeScript où 20 agents LLM négocient de manière autonome dans une économie de village médiéval sans instructions comportementales, objectifs ou stratégies commerciales. Les agents reçoivent environ 200 tokens de perceptions à chaque tick et interagissent via un moteur déterministe gérant la physique, les recettes et les mécanismes de marché.
Layerkit : Éditeur d'Images IA avec Calques Modifiables Développé avec Claude Code
Un développeur a créé Layerkit, un éditeur d'images basé sur le navigateur qui génère des scènes avec des calques modifiables pour éviter de constamment reformuler les prompts. L'outil utilise un pipeline d'IA multi-étapes où un LLM planifie la composition, un modèle d'image génère la scène, et un autre LLM analyse l'image réelle pour placer un texte lisible.
Claude-Code v2.1.63 ajoute des crochets HTTP, des commandes slash et corrige les fuites de mémoire.
Claude-Code v2.1.63 introduit des hooks HTTP pour des appels externes basés sur JSON, ajoute les commandes slash /simplify et /batch, et corrige plusieurs fuites de mémoire dans les sessions de longue durée. Cette version améliore également la gestion des serveurs MCP et l'intégration avec VSCode.
Compétence OpenClaw Réduit le Transfert d'Agent en Permettant l'Exécution Automatique
Une nouvelle compétence pour les agents OpenClaw aborde le problème courant où les agents identifient l'étape suivante mais s'arrêtent à 'voici ce qu'il faut faire ensuite', nécessitant un transfert à un humain. La compétence permet aux agents d'effectuer certaines actions eux-mêmes, comme s'inscrire, publier, répondre et signer.