Mac에서 MCP를 통해 로컬 LLM을 어시스턴트로 클로드에게 제공하기

레딧 사용자가 Mac Mini M4(24GB RAM)에서 로컬 LLM을 실행하며 Claude에 MCP 연결을 통해 Ollama에 접근하는 방법을 상세히 설명했습니다. 이 설정은 Ollama가 Qwen 2.5 Coder(14B)를 'Frank'라는 어시스턴트로 서비스하며, Claude가 특정 규칙(Claude보다 적은 토큰 사용, 품질에 영향 없음, 최종 검토 필요)에 따라 작업을 위임할 수 있게 합니다.

설정 세부사항

• 하드웨어: 24GB RAM의 Mac Mini M4.
• 로컬 LLM: Ollama(LM Studio로도 테스트됨)를 통해 실행되는 Qwen 2.5 Coder(14B).
• 연결: MCP(모델 컨텍스트 프로토콜)를 사용하여 Claude(CLI 또는 데스크톱 앱)와 로컬 모델 연결.
• 지침: Claude에 memory.md라는 메모리 마크다운 파일을 제공하여 Frank를 사용하는 시기와 방법(예: 텍스트 처리, 대용량 CSS/HTML 파일 처리 위임, 출력 품질 저하 없이 토큰 절약 시에만 사용)에 대한 가이드라인을 명시했습니다.

실제 사용 사례

• 텍스트 처리 및 변환 — Claude의 토큰 사용량을 줄이기 위해 Frank에게 오프로드.
• Claude가 직접 처리하기 비용이 많이 드는 대용량 CSS/HTML 파일 처리.
• 성능, 코딩, 로직 테스트 실행 — Claude가 수동으로 평가하는 대신 Frank를 통해 로컬 모델을 평가.

사용자는 현재 RAM/GPU의 한계에서 운영 중이며 더 큰 모델(30B+)은 테스트할 수 없다고 언급했습니다. 더 강력한 하드웨어를 가진 다른 사람들에게 유사한 설정을 시도하고 결과를 공유해 줄 것을 요청했습니다.

이 접근 방식은 Claude의 최종 검토를 통해 품질을 유지하면서 토큰이 많이 필요한 작업을 오프로드하여 Claude를 위한 무료 어시스턴트를 효과적으로 만듭니다.