Affinage de llama3.2 3B pour un coaching santé personnalisé utilisant les données d'Apple Watch et MLX
Un développeur a créé un LLM coach de santé personnalisé en affinant llama3.2 3B sur un Mac en utilisant les données Apple Health et Whoop. L'ensemble du processus d'affinage a pris environ 15 minutes en utilisant MLX.
Pipeline technique
La mise en œuvre suit ce flux de travail :
- Les données Apple Health et Whoop stockées dans une base de données SQLite locale
- Une couche RAG SQL convertit les requêtes en langage naturel en SQL
- L'API Claude utilisée une fois pour générer ~270 exemples d'entraînement de référence (paires question/SQL/résultat anonymisées, aucune donnée de santé personnelle envoyée)
- Affinage LoRA sur llama3.2 3B via MLX
- Modèle fusionné servi localement à 127.0.0.1:8080
Avant vs après l'affinage
La source fournit des exemples concrets de l'amélioration :
Avant l'affinage : "Votre HRV est une mesure importante de la fonction du système nerveux autonome..." [500 mots de conseils génériques]
Après l'affinage : "Votre HRV a fait en moyenne 68ms cette semaine, en baisse de 12 % par rapport aux 77ms de la semaine dernière. Coïncide avec 3 nuits de moins de 7 heures de sommeil. Envisagez de réduire l'intensité de l'entraînement pendant 48 heures."
Empreinte mémoire et matériel
- Modèle (4 bits) : ~2 Go
- Adaptateur LoRA : ~50 Mo
- Mémoire d'entraînement : ~4-5 Go au total
- Fonctionne sur Mac série M, pas de GPU nécessaire
Le développeur mentionne inclure des détails techniques sur les garde-fous contre les hallucinations SQL, l'enrichissement du contexte inter-métriques et le pipeline d'entraînement dans son article complet. Il propose également de répondre aux questions concernant la configuration MLX ou l'implémentation de la couche RAG.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Leçons pratiques tirées de la construction d'un agent IA pour le commerce électronique avec OpenClaw
Un développeur partage des informations spécifiques sur l'infrastructure, la sécurité et les flux de travail après avoir passé plus de 100 heures à construire un agent d'IA e-commerce avec OpenClaw, incluant la configuration d'un VPS sur Digital Ocean (24$/mois), la gestion des coûts des modèles avec Kimi K2.5 et Gemini Flash, et des recommandations d'architecture de mémoire.
ALTWORLD : Une architecture de simulateur de vie persistante qui sépare le LLM de la base de données pour résoudre l'amnésie de l'IA
ALTWORLD est un jeu de simulation avec état qui résout le problème de la fenêtre de contexte en stockant l'état canonique de l'exécution dans des tables PostgreSQL et des objets JSON, puis en générant du texte narratif uniquement après les changements d'état. L'architecture utilise Next.js App Router, Prisma et PostgreSQL avec une séparation stricte entre la logique de simulation et la narration par IA.
Auto-hébergé vs OpenClaw géré : Comparaison de 4 mois par un développeur
Un développeur est passé de l'hébergement autonome d'OpenClaw pendant 4 mois au service géré de RunLobster à 49 $/mois. L'hébergement autonome nécessitait une maintenance constante, y compris des scripts de reconnexion, le débogage des mises à jour de configuration et la gestion de factures API imprévues.
Chauffeur de Fret Développe une Application iOS avec Claude Code, Partage des Leçons Pratiques
Un chauffeur routier au Japon, avec une expérience minimale en programmation, a utilisé Claude Code pour créer une application iOS afin de se conformer à de nouvelles réglementations de tenue de registres, l'ayant publiée sur l'App Store en six mois. Il partage des leçons spécifiques sur l'ingénierie des prompts, les coûts imprévus avec Expo et Supabase, et la gestion de l'épuisement professionnel.