Affinage de llama3.2 3B pour un coaching santé personnalisé utilisant les données d'Apple Watch et MLX

Un développeur a créé un LLM coach de santé personnalisé en affinant llama3.2 3B sur un Mac en utilisant les données Apple Health et Whoop. L'ensemble du processus d'affinage a pris environ 15 minutes en utilisant MLX.

Pipeline technique

La mise en œuvre suit ce flux de travail :

• Les données Apple Health et Whoop stockées dans une base de données SQLite locale
• Une couche RAG SQL convertit les requêtes en langage naturel en SQL
• L'API Claude utilisée une fois pour générer ~270 exemples d'entraînement de référence (paires question/SQL/résultat anonymisées, aucune donnée de santé personnelle envoyée)
• Affinage LoRA sur llama3.2 3B via MLX
• Modèle fusionné servi localement à 127.0.0.1:8080

Avant vs après l'affinage

La source fournit des exemples concrets de l'amélioration :

Avant l'affinage : "Votre HRV est une mesure importante de la fonction du système nerveux autonome..." [500 mots de conseils génériques]

Après l'affinage : "Votre HRV a fait en moyenne 68ms cette semaine, en baisse de 12 % par rapport aux 77ms de la semaine dernière. Coïncide avec 3 nuits de moins de 7 heures de sommeil. Envisagez de réduire l'intensité de l'entraînement pendant 48 heures."

Empreinte mémoire et matériel

• Modèle (4 bits) : ~2 Go
• Adaptateur LoRA : ~50 Mo
• Mémoire d'entraînement : ~4-5 Go au total
• Fonctionne sur Mac série M, pas de GPU nécessaire

Le développeur mentionne inclure des détails techniques sur les garde-fous contre les hallucinations SQL, l'enrichissement du contexte inter-métriques et le pipeline d'entraînement dans son article complet. Il propose également de répondre aux questions concernant la configuration MLX ou l'implémentation de la couche RAG.