Bifrost LLM Gateway: 11 микросекунд накладных расходов, единый бинарный файл на Go
Что такое Bifrost
Bifrost — это готовый прокси для LLM, написанный на Go, специально для саморазмещаемых сред. Он маршрутизирует запросы к OpenAI, Anthropic, Azure, Bedrock и другим провайдерам, одновременно обрабатывая отказоустойчивость, кэширование и контроль бюджета.
Тесты производительности
Разработчик провёл тестирование с устойчивой нагрузкой в 5 000 запросов в секунду:
- Bifrost (Go): ~11 микросекунд накладных расходов на запрос
- LiteLLM (Python): ~8 миллисекунд накладных расходов на запрос
Это примерно в 700 раз меньше накладных расходов.
Сравнение использования памяти
При той же пропускной способности:
- Bifrost: ~50 МБ ОЗУ в базовом режиме, остаётся стабильным под нагрузкой
- LiteLLM: ~300-400 МБ ОЗУ в базовом режиме, скачки до 800+ МБ при высокой нагрузке
Разработчик отмечает, что для работы LiteLLM при 2k+ RPS требуется горизонтальное масштабирование и серьёзные размеры инстансов, в то время как Bifrost обрабатывает 5k RPS на VPS за $20 в месяц.
Стабильность под нагрузкой
Производительность Bifrost остаётся постоянной под нагрузкой с одинаковой задержкой как при 100 RPS, так и при 5 000 RPS. В отличие от этого, LiteLLM становится непредсказуемым при скачках трафика — увеличивается вариативность задержек, возникают скачки памяти, а паузы сборки мусора происходят в самые неподходящие моменты.
Уникальные возможности
Bifrost включает шлюз MCP, который подключает 10+ серверов инструментов MCP, обрабатывает обнаружение, пространства имён, проверки работоспособности и фильтрацию инструментов для каждого запроса. LiteLLM не поддерживает MCP.
Развёртывание и миграция
Развёртывание представляет собой один бинарный файл без виртуальных окружений Python, без проблем с зависимостями и без необходимости в Docker. Вы просто копируете его на сервер и запускаете.
Для миграции API совместим с OpenAI. Вы меняете базовый URL и сохраняете существующий код, при этом большинство миграций занимает менее часа.
Доступность в открытом исходном коде
Проект имеет открытый исходный код и доступен на github.com/maximhq/bifrost.
📖 Read the full source: r/clawdbot
👀 Смотрите также
OpenCortex: Самообучающаяся система памяти для OpenClaw
OpenCortex заменяет плоский файл MEMORY.md в OpenClaw структурированными файлами памяти, организованными по проектам, контактам, рабочим процессам, настройкам, руководствам, инструментам и инфраструктуре. Он включает ежедневную дистилляцию с аудитами соблюдения принципов и еженедельный синтез с обнаружением паттернов и автоматическим созданием руководств.
Открытая система разработки продуктов с 31 агентом для Claude, содержащая более 12 000 строк контента.
Открытый навык Claude предоставляет 31 специализированного ИИ-агента и 20 стратегических фреймворков, охватывающих все отделы компании от продукта до соответствия требованиям. Система с лицензией MIT включает 62 файла с более чем 12 000 строк практического контента, страновую специфику соответствия для нескольких регионов и интеллектуальную систему загрузки, которая эффективно маршрутизирует запросы.
ClaudeOrb: Расширение для Chrome отслеживает использование Claude API в реальном времени
Разработчик создал ClaudeOrb — бесплатное расширение для Chrome, которое отображает процент использования сессии Claude, недельные лимиты, таймеры обратного отсчета, стоимость Claude Code и тренды расходов за 7 дней. Инструмент был создан с помощью Claude Code после того, как разработчик столкнулся с ограничениями скорости без предупреждения.
Нужен MCP-сервер, обеспечивающий семантическое обнаружение инструментов для AI-агентов.
Сервер MCP под названием Need обеспечивает семантический поиск по более чем 10 000 инструментам из brew, npm, pip и cargo. Когда агент запрашивает задачу, например, 'сжать эти PNG-файлы', он находит pngquant, устанавливает его, запускает и сообщает об успехе.