Dándole a Claude un LLM local como asistente mediante MCP en Mac

Un usuario de Reddit detalló cómo le dio a Claude acceso a un LLM local ejecutándose en un Mac Mini M4 (24 GB de RAM) a través de una conexión MCP con Ollama. La configuración usa Ollama sirviendo Qwen 2.5 Coder (14B) como un asistente llamado 'Frank', al que Claude puede delegar tareas bajo reglas específicas: debe usar menos tokens que el propio Claude, no debe afectar la calidad y requiere una revisión final.

Detalles de la configuración

• Hardware: Mac Mini M4 con 24 GB de RAM.
• LLM local: Qwen 2.5 Coder (14B) ejecutándose mediante Ollama (también probado con LM Studio).
• Conexión: MCP (Protocolo de Contexto del Modelo) para vincular Claude (CLI o aplicación de escritorio) con el modelo local.
• Instrucciones: A Claude se le dio un archivo Markdown de memoria (memory.md) con pautas sobre cuándo y cómo usar Frank — por ejemplo, delegar procesamiento de texto, manejo de archivos grandes CSS/HTML, y usarlo solo cuando ahorre tokens sin degradar la calidad de salida.

Casos de uso prácticos

• Procesamiento y transformación de texto — delegado a Frank para reducir el uso de tokens de Claude.
• Manejo de archivos grandes CSS/HTML que serían costosos para que Claude los procesara directamente.
• Ejecución de pruebas de rendimiento, codificación y lógica — Claude evaluó modelos locales a través de Frank en lugar de hacerlo manualmente.

El usuario señaló que está operando al límite de su RAM/GPU y no puede probar modelos más grandes (30B+). Invitó a otros con hardware más potente a probar configuraciones similares y compartir resultados.

Este enfoque crea efectivamente un asistente sin costo para Claude, delegando tareas pesadas en tokens mientras mantiene la calidad mediante la revisión final de Claude.