Claude mit einem lokalen LLM als Assistent über MCP auf dem Mac ausstatten

Ein Reddit-Nutzer beschrieb, wie er Claude über eine MCP-Verbindung zu Ollama Zugriff auf ein lokales LLM auf einem Mac Mini M4 (24 GB RAM) gewährte. Der Aufbau verwendet Ollama, das Qwen 2.5 Coder (14B) als Assistenten namens 'Frank' bereitstellt. Claude kann Frank unter bestimmten Regeln Aufgaben delegieren – er muss weniger Token verbrauchen als Claude selbst, darf die Qualität nicht beeinträchtigen und erfordert eine abschließende Überprüfung.

Einrichtung im Detail

• Hardware: Mac Mini M4 mit 24 GB RAM.
• Lokales LLM: Qwen 2.5 Coder (14B), ausgeführt über Ollama (ebenfalls getestet mit LM Studio).
• Verbindung: MCP (Model Context Protocol), um Claude (CLI oder Desktop-App) mit dem lokalen Modell zu verbinden.
• Anweisungen: Claude erhielt eine Markdown-Datei (memory.md) mit Richtlinien, wann und wie Frank eingesetzt werden soll – z. B. für Textverarbeitung, die Bearbeitung großer CSS/HTML-Dateien, und nur dann, wenn es Token spart, ohne die Ausgabequalität zu beeinträchtigen.

Praktische Anwendungsfälle

• Textverarbeitung und -transformation – an Frank ausgelagert, um Claudes Token-Verbrauch zu reduzieren.
• Umgang mit großen CSS/HTML-Dateien, deren direkte Verarbeitung durch Claude teuer wäre.
• Durchführung von Leistungs-, Programmier- und Logiktests – Claude bewertete lokale Modelle über Frank anstatt manuell.

Der Nutzer wies darauf hin, dass er an den Grenzen seines RAM/GPU arbeitet und keine größeren Modelle (30B+) testen kann. Er lud andere mit leistungsfähigerer Hardware ein, ähnliche Aufbauten zu versuchen und Ergebnisse zu teilen.

Dieser Ansatz schafft effektiv einen kostenlosen Assistenten für Claude, der token-intensive Aufgaben auslagert, während die Qualität durch Claudes abschließende Überprüfung erhalten bleibt.