Bifrost LLM 게이트웨이: 11마이크로초 오버헤드, Go로 작성된 단일 바이너리

Bifrost란 무엇인가

Bifrost는 자체 호스팅 환경을 위해 Go로 특별히 작성된 드롭인 LLM 프록시입니다. OpenAI, Anthropic, Azure, Bedrock 및 기타 제공업체로 요청을 라우팅하면서 장애 조치, 캐싱 및 예산 제어를 처리합니다.

성능 벤치마크

개발자는 초당 5,000건의 요청을 지속적으로 벤치마크했습니다:

• Bifrost (Go): 요청당 약 11마이크로초 오버헤드
• LiteLLM (Python): 요청당 약 8밀리초 오버헤드

이는 오버헤드에서 약 700배 차이입니다.

메모리 사용량 비교

동일한 처리량에서:

• Bifrost: 약 50MB RAM 기준, 부하 하에서도 일정하게 유지
• LiteLLM: 약 300-400MB 기준, 트래픽이 많을 때 800MB 이상으로 급증

개발자는 LiteLLM을 2k+ RPS로 실행하려면 수평 확장과 강력한 인스턴스 크기가 필요하지만, Bifrost는 월 20달러 VPS에서 5k RPS를 처리한다고 언급합니다.

부하 하 안정성

Bifrost 성능은 부하 하에서도 일정하게 유지되며, 100 RPS나 5,000 RPS에서 동일한 지연 시간을 보입니다. 반면 LiteLLM은 트래픽이 급증할 때 예측 불가능해집니다 - 지연 시간 변동이 증가하고, 메모리가 급증하며, GC 일시 중지가 최악의 시점에 발생합니다.

독특한 기능

Bifrost에는 10개 이상의 MCP 도구 서버를 연결하고, 검색, 네임스페이싱, 상태 확인 및 요청별 도구 필터링을 처리하는 MCP 게이트웨이가 포함되어 있습니다. LiteLLM은 MCP를 지원하지 않습니다.

배포 및 마이그레이션

배포는 단일 바이너리로 Python 가상 환경, 의존성 문제, Docker 없이 가능합니다. 서버에 복사하여 실행하기만 하면 됩니다.

마이그레이션을 위해 API는 OpenAI와 호환됩니다. 기본 URL을 변경하고 기존 코드를 유지하면 대부분의 마이그레이션이 1시간 이내에 완료됩니다.

오픈소스 가용성

이 프로젝트는 오픈소스이며 github.com/maximhq/bifrost에서 이용 가능합니다.