MCP 서버: 토론 기능을 통한 로컬 및 클라우드 LLM 비교

MCP 서버는 여러 제공자에게 동시에 쿼리를 보낼 수 있도록 하여 로컬 및 클라우드 기반 언어 모델의 비교를 용이하게 하도록 설계되었습니다. nesquikm이라는 사용자가 만든 이 도구는 Ollama를 통한 로컬 모델 통합과 OpenAI, Gemini, Groq, Together AI를 포함한 클라우드 API와의 통합을 지원합니다.

주요 세부 사항

• 지원되는 제공자: Ollama, LM Studio 또는 모든 OpenAI 호환 엔드포인트를 가리킬 수 있습니다.
• 모델 혼합 및 매칭: 단일 쿼리에서 로컬 모델과 다양한 클라우드 제공자를 결합할 수 있습니다.
• 비교 기능: 답변이 나란히 표시되며, 모델이 최적의 접근 방식에 투표하거나 구조화된 토론에 참여할 수 있는 옵션이 있습니다. 이때 세 번째 모델이 응답을 판단합니다.
• 사용법: npx mcp-rubber-duck 명령어로 빠르게 시작할 수 있습니다. Claude Desktop, Cursor, VS Code 또는 모든 MCP 클라이언트와 같은 여러 IDE 및 플랫폼과 호환되며 Docker를 통해 배포할 수도 있습니다.
• 설정: 저장소는 GitHub의 mcp-rubber-duck에서 이용 가능하며, MIT 라이선스 하에 TypeScript로 작성되었습니다. 이 도구는 아직 초기 단계에 있으며 피드백을 환영합니다. 특히 로컬 모델을 제공자로 사용하는 사용자들의 의견을 기다립니다.

이 도구는 특히 특정 문제에 대해 서로 다른 모델이 어떻게 접근하는지 이해하고자 하는 개발자에게 유용할 수 있으며, 특히 불일치가 발생할 때 도움이 됩니다.