Donner à Claude un LLM local comme assistant via MCP sur Mac

Un utilisateur de Reddit a détaillé comment il a donné à Claude l'accès à un LLM local fonctionnant sur un Mac Mini M4 (24 Go de RAM) via une connexion MCP avec Ollama. La configuration utilise Ollama qui sert Qwen 2.5 Coder (14B) en tant qu'assistant nommé « Frank », à qui Claude peut déléguer des tâches selon des règles spécifiques — doit utiliser moins de jetons que Claude lui-même, ne doit pas affecter la qualité, et nécessite une révision finale.

Détails de la configuration

• Matériel : Mac Mini M4 avec 24 Go de RAM.
• LLM local : Qwen 2.5 Coder (14B) fonctionnant via Ollama (également testé avec LM Studio).
• Connexion : MCP (Model Context Protocol) pour lier Claude (CLI ou application de bureau) au modèle local.
• Instructions : Claude a reçu un fichier Markdown de mémoire (memory.md) avec des directives sur quand et comment utiliser Frank — par exemple, déléguer le traitement de texte, la gestion de gros fichiers CSS/HTML, et utiliser seulement lorsque cela économise des jetons sans dégrader la qualité de sortie.

Cas d'utilisation pratiques

• Traitement et transformation de texte — délégué à Frank pour réduire la consommation de jetons de Claude.
• Gestion de grands fichiers CSS/HTML qui seraient coûteux à traiter directement par Claude.
• Exécution de tests de performance, de codage et de logique — Claude évaluait les modèles locaux via Frank plutôt que manuellement.

L'utilisateur a noté qu'il fonctionne aux limites de sa RAM/GPU et ne peut pas tester des modèles plus grands (30B+). Il a invité d'autres personnes disposant de matériel plus puissant à essayer des configurations similaires et à partager les résultats.

Cette approche crée effectivement un assistant gratuit pour Claude, déléguant les tâches lourdes en jetons tout en maintenant la qualité grâce à la révision finale de Claude.