Dando ao Claude um LLM local como assistente via MCP no Mac

Um usuário do Reddit detalhou como deu ao Claude acesso a um LLM local rodando em um Mac Mini M4 (24GB RAM) através de uma conexão MCP com o Ollama. A configuração usa o Ollama servindo o Qwen 2.5 Coder (14B) como um assistente chamado 'Frank', para quem Claude pode delegar tarefas sob regras específicas — deve usar menos tokens que o próprio Claude, não deve afetar a qualidade e requer uma revisão final.

Detalhes da Configuração

• Hardware: Mac Mini M4 com 24GB RAM.
• LLM Local: Qwen 2.5 Coder (14B) rodando via Ollama (também testado com LM Studio).
• Conexão: MCP (Model Context Protocol) para vincular o Claude (CLI ou App Desktop) ao modelo local.
• Instruções: Foi dado ao Claude um arquivo Markdown de memória (memory.md) com diretrizes sobre quando e como usar o Frank — por exemplo, delegar processamento de texto, manipulação de arquivos CSS/HTML grandes e usar apenas quando economizar tokens sem degradar a qualidade da saída.

Casos de Uso Práticos

• Processamento e transformação de texto — transferido para Frank para reduzir o uso de tokens do Claude.
• Manipulação de arquivos CSS/HTML grandes que seriam caros para o Claude processar diretamente.
• Execução de testes de desempenho, codificação e lógica — Claude avaliou modelos locais via Frank em vez de manualmente.

O usuário observou que está operando nos limites de sua RAM/GPU e não pode testar modelos maiores (30B+). Ele convidou outros com hardware mais potente a experimentar configurações semelhantes e compartilhar resultados.

Essa abordagem efetivamente cria um assistente sem custo para o Claude, transferindo tarefas pesadas em tokens enquanto mantém a qualidade através da revisão final do Claude.