프로덕션 AI IDE에서 Ollama를 지원하는 다중 제공자 LLM 폴백 체인

프로덕션 AI IDE 플랫폼인 Resonant Genesis는 아키텍처에서 로컬 LLM 지원을 1급 제공자로 통합했습니다. 이 플랫폼은 30개 이상의 마이크로서비스에서 실행되며 로컬 모델을 Groq, OpenAI, Anthropic, Gemini와 같은 클라우드 제공자와 동등하게 취급합니다.

아키텍처와 통합

이 플랫폼은 모든 서비스에 볼륨 마운트된 공유 rg_llm 라이브러리인 UnifiedLLMClient를 사용합니다. LLM 기능이 필요한 모든 마이크로서비스는 이 동일한 클라이언트를 임포트합니다. 폴백 체인은 Groq → OpenAI → Anthropic → Gemini → Ollama/LM Studio 순으로 구성됩니다.

IDE의 씬 클라이언트 확장은 로컬 Ollama 모델을 자동으로 탐지하여 제공자 목록에 추가합니다. 사용자는 원하는 경우 시스템을 로컬 모델을 우선적으로 사용하도록 구성할 수 있습니다.

서버 측 오케스트레이션

모든 오케스트레이션은 서버 측에서 이루어지며, IDE는 UI를 렌더링하고 로컬 도구(파일 작업, 터미널, git)를 실행하며 Server-Sent Events(SSE)를 통해 결과를 스트리밍하는 씬 클라이언트 역할을 합니다. 에이전트 루프, 도구 선택, 시스템 프롬프트, LLM 라우팅은 모두 서버에서 처리됩니다.

로컬 모델을 사용할 때도 동일한 통제된 실행 파이프라인을 거칩니다:

• 사전 실행 정책 적용(작업 실행 전 차단)
• 제공자 API를 통한 네이티브 함수 호출(JSON 프롬프트 주입 없음)
• 모든 에이전트에 대한 암호화된 신원(Ethereum L2의 DSID)
• 선택한 LLM 제공자에 관계없이 사용 가능한 동일한 59개의 로컬 도구

로컬 LLM 사용자를 위한 이점

로컬에서 Ollama를 실행하는 사용자에게 이 아키텍처는 다음과 같은 이점을 제공합니다:

• 프라이버시: 씬 클라이언트 아키텍처는 바이너리에 회사 인텔리전스가 없음을 의미하며, 로컬 모델을 사용하면 프롬프트가 로컬에 유지됩니다
• 도구 사용: 프롬프트 주입된 JSON 스키마가 아닌 네이티브 함수 호출을 지원하는 59개의 로컬 도구
• 폴백: 로컬 모델이 복잡한 작업을 처리할 수 없는 경우 자동으로 클라우드 제공자로 폴백됩니다

개발자들은 로컬 모델을 실행하는 사용자들로부터 피드백을 구하고 있으며, 특히 작은 모델의 함수 호출 성능과 에이전트 도구 사용에 적합한 모델에 관한 의견을 원합니다.

이 프로젝트는 GitHub에서 오픈 소스로 제공되며, 도구 생태계를 시연하는 게스트 채팅은 dev-swat.com에서 라이브로 운영됩니다(클라우드 모델 사용).