Bifrost LLM Gateway : 11 microsecondes de surcoût, binaire unique en Go
Qu'est-ce que Bifrost
Bifrost est un proxy LLM prêt à l'emploi écrit en Go, conçu spécifiquement pour les environnements auto-hébergés. Il achemine les requêtes vers OpenAI, Anthropic, Azure, Bedrock et d'autres fournisseurs tout en gérant la bascule, la mise en cache et les contrôles budgétaires.
Benchmarks de performance
Le développeur a mesuré une capacité soutenue de 5 000 requêtes par seconde :
- Bifrost (Go) : ~11 microsecondes de surcharge par requête
- LiteLLM (Python) : ~8 millisecondes de surcharge par requête
Cela représente environ 700 fois moins de surcharge.
Comparaison de l'utilisation mémoire
À même débit :
- Bifrost : ~50 Mo de RAM de base, reste stable sous charge
- LiteLLM : ~300-400 Mo de base, atteint 800 Mo+ en cas de trafic intense
Le développeur note que l'exécution de LiteLLM à plus de 2 000 RPS nécessite une mise à l'échelle horizontale et des instances importantes, tandis que Bifrost gère 5 000 RPS sur un VPS à 20 $/mois.
Stabilité sous charge
Les performances de Bifrost restent constantes sous charge, avec la même latence à 100 RPS ou 5 000 RPS. En revanche, LiteLLM devient imprévisible lors des pics de trafic : la variance de latence augmente, la mémoire monte en flèche et les pauses du ramasse-miettes surviennent au pire moment.
Fonctionnalités uniques
Bifrost inclut une passerelle MCP qui connecte plus de 10 serveurs d'outils MCP, gère la découverte, l'espace de noms, les contrôles de santé et le filtrage des outils par requête. LiteLLM ne prend pas en charge MCP.
Déploiement et migration
Le déploiement se fait avec un seul binaire, sans environnements virtuels Python, sans problèmes de dépendances et sans Docker requis. Vous le copiez sur le serveur et vous l'exécutez.
Pour la migration, l'API est compatible avec OpenAI. Vous changez l'URL de base et conservez le code existant, la plupart des migrations prenant moins d'une heure.
Disponibilité open source
Le projet est open source et disponible sur github.com/maximhq/bifrost.
📖 Lire la source complète : r/clawdbot
👀 See Also
repo-mem : Le serveur MCP open-source ajoute une mémoire d'équipe persistante à Claude Code
repo-mem est un serveur MCP open-source qui ajoute une mémoire persistante et partagée aux sessions Claude Code en utilisant SQLite et Git. Il résout l'isolement d'équipe en stockant les observations dans des bases de données par utilisateur qui sont validées dans le dépôt.
Construire un système de connaissances auto-améliorant avec Claude Code et Obsidian
Un développeur a créé un système de 25 outils qui confère à Claude Code une mémoire persistante grâce à la recherche sémantique, aux graphes de connaissances et à la répétition espacée sur un coffre Obsidian. Le système indexe le contenu avec des embeddings bge-m3, détecte les contradictions, élagage automatique des notes obsolètes et génère automatiquement des cartes Obsidian Canvas.
Brunnfeld Agentic World : Simulation d'Économie Médiévale Multi-Agents Sans Invitations Comportementales
Une simulation TypeScript où 20 agents LLM négocient de manière autonome dans une économie de village médiéval sans instructions comportementales, objectifs ou stratégies commerciales. Les agents reçoivent environ 200 tokens de perceptions à chaque tick et interagissent via un moteur déterministe gérant la physique, les recettes et les mécanismes de marché.
Automatiser la revue des PR GitHub avec les agents Claude Code
Un développeur a créé un agent qui traite les mentions GitHub, lance des travailleurs Claude Code pour examiner ou corriger les PR, et ne remonte aux humains que les cas ambigus.