Bifrost LLM Gateway: 11 Microsegundos de Sobrecarga, Binario Único en Go
Qué es Bifrost
Bifrost es un proxy LLM listo para usar escrito en Go específicamente para entornos autoalojados. Enruta solicitudes a OpenAI, Anthropic, Azure, Bedrock y otros proveedores mientras maneja conmutación por error, almacenamiento en caché y controles de presupuesto.
Puntos de Referencia de Rendimiento
El desarrollador realizó pruebas de referencia a 5,000 solicitudes por segundo sostenidas:
- Bifrost (Go): ~11 microsegundos de sobrecarga por solicitud
- LiteLLM (Python): ~8 milisegundos de sobrecarga por solicitud
Esa es aproximadamente una diferencia de 700x en sobrecarga.
Comparación de Uso de Memoria
Con el mismo rendimiento:
- Bifrost: ~50MB de RAM de referencia, se mantiene estable bajo carga
- LiteLLM: ~300-400MB de referencia, alcanza picos de 800MB+ bajo tráfico intenso
El desarrollador señala que ejecutar LiteLLM a 2k+ RPS requiere escalado horizontal y tamaños de instancia serios, mientras que Bifrost maneja 5k RPS en un VPS de $20/mes.
Estabilidad Bajo Carga
El rendimiento de Bifrost se mantiene constante bajo carga con la misma latencia a 100 RPS o 5,000 RPS. En contraste, LiteLLM se vuelve impredecible cuando el tráfico alcanza picos: la variación de latencia aumenta, la memoria alcanza picos y las pausas de GC ocurren en los peores momentos.
Características Únicas
Bifrost incluye una puerta de enlace MCP que conecta más de 10 servidores de herramientas MCP, maneja descubrimiento, espacios de nombres, verificaciones de salud y filtrado de herramientas por solicitud. LiteLLM no maneja MCP.
Implementación y Migración
La implementación es un solo binario sin entornos virtuales de Python, sin problemas de dependencias y sin necesidad de Docker. Lo copias al servidor y lo ejecutas.
Para la migración, la API es compatible con OpenAI. Cambias la URL base y mantienes el código existente, con la mayoría de las migraciones tomando menos de una hora.
Disponibilidad de Código Abierto
El proyecto es de código abierto y está disponible en github.com/maximhq/bifrost.
📖 Read the full source: r/clawdbot
👀 Ver también
Lovelace: Gestión de Proyectos para Claude Code que Vive en tu Repositorio
Una aplicación de escritorio donde los tickets, documentos y registros de sesión son archivos Markdown dentro de tu repositorio. La app renderiza un tablero kanban desde los archivos, y Claude trabaja sobre los mismos archivos mediante 8 herramientas MCP. Gratis, sin necesidad de cuenta.
Nanocode: Entrenamiento de agentes de codificación similares a Claude con JAX en TPUs
Nanocode es una biblioteca JAX para entrenar agentes de codificación similares a Claude de extremo a extremo, utilizando Constitutional AI y optimización TPU. El modelo de 1.3B parámetros puede entrenarse en ~9 horas por $200 en TPU v6e-8.
Reduzca los costos de sesiones de codificación con IA en un 90% mediante la indexación de código basada en grafos
Un desarrollador creó una base de datos de grafos local que indexa un código fuente utilizando resúmenes generados por LLM, reduciendo los costos de las sesiones de Claude Code de $6-10 a centavos al evitar la relectura redundante de archivos.
Observación: Una Herramienta de Anotación en Markdown para Flujos de Trabajo de Código en Claude
Remark es una aplicación nativa para macOS que permite a los desarrolladores anotar archivos Markdown en línea para flujos de trabajo de revisión de código en Claude Code. Exporta las anotaciones como JSON para el agente y se integra mediante una habilidad instalada en el directorio .claude/skills/.