Bifrost LLM Gateway: 11 Microsegundos de Sobrecarga, Binario Único en Go
Qué es Bifrost
Bifrost es un proxy LLM listo para usar escrito en Go específicamente para entornos autoalojados. Enruta solicitudes a OpenAI, Anthropic, Azure, Bedrock y otros proveedores mientras maneja conmutación por error, almacenamiento en caché y controles de presupuesto.
Puntos de Referencia de Rendimiento
El desarrollador realizó pruebas de referencia a 5,000 solicitudes por segundo sostenidas:
- Bifrost (Go): ~11 microsegundos de sobrecarga por solicitud
- LiteLLM (Python): ~8 milisegundos de sobrecarga por solicitud
Esa es aproximadamente una diferencia de 700x en sobrecarga.
Comparación de Uso de Memoria
Con el mismo rendimiento:
- Bifrost: ~50MB de RAM de referencia, se mantiene estable bajo carga
- LiteLLM: ~300-400MB de referencia, alcanza picos de 800MB+ bajo tráfico intenso
El desarrollador señala que ejecutar LiteLLM a 2k+ RPS requiere escalado horizontal y tamaños de instancia serios, mientras que Bifrost maneja 5k RPS en un VPS de $20/mes.
Estabilidad Bajo Carga
El rendimiento de Bifrost se mantiene constante bajo carga con la misma latencia a 100 RPS o 5,000 RPS. En contraste, LiteLLM se vuelve impredecible cuando el tráfico alcanza picos: la variación de latencia aumenta, la memoria alcanza picos y las pausas de GC ocurren en los peores momentos.
Características Únicas
Bifrost incluye una puerta de enlace MCP que conecta más de 10 servidores de herramientas MCP, maneja descubrimiento, espacios de nombres, verificaciones de salud y filtrado de herramientas por solicitud. LiteLLM no maneja MCP.
Implementación y Migración
La implementación es un solo binario sin entornos virtuales de Python, sin problemas de dependencias y sin necesidad de Docker. Lo copias al servidor y lo ejecutas.
Para la migración, la API es compatible con OpenAI. Cambias la URL base y mantienes el código existente, con la mayoría de las migraciones tomando menos de una hora.
Disponibilidad de Código Abierto
El proyecto es de código abierto y está disponible en github.com/maximhq/bifrost.
📖 Read the full source: r/clawdbot
👀 Ver también
OpenCortex: Un sistema de memoria automejorable para OpenClaw
OpenCortex reemplaza el archivo plano MEMORY.md de OpenClaw con archivos de memoria estructurados organizados por proyectos, contactos, flujos de trabajo, preferencias, manuales de procedimiento, herramientas e infraestructura. Incluye destilación nocturna con auditorías de aplicación de principios y síntesis semanal con detección de patrones y creación automática de manuales de procedimiento.
agentcontract v0.0.1: Una Capa de Permisos JSON Portátil para Agentes de Codificación de IA
agentcontract v0.0.1 presenta una capa de permisos JSON portátil para agentes de IA, con una interfaz de navegador local para editar, validar y simular llamadas a herramientas.
Servidor MCP memv: Memoria Estructurada Persistente para Agentes de IA
memv, una capa de memoria de código abierto para agentes en Python, ahora incluye un servidor MCP. Proporciona cinco herramientas para memoria persistente y estructurada con aislamiento por usuario y extracción opcional con LLM.
Una arquitectura de base de conocimiento de 4 niveles para mejorar la precisión del agente de IA.
Un desarrollador construyó una base de conocimiento estructurada con más de 200 artículos para proporcionar contexto específico del dominio a agentes de IA, implementando un pipeline de 4 niveles con clasificación de consultas que redujo los costos de tokens en aproximadamente un 40%.