Feinabstimmung von llama3.2 3B für personalisiertes Gesundheitscoaching unter Verwendung von Apple Watch-Daten und MLX

Ein Entwickler erstellte einen personalisierten Gesundheits-Coach-LLM durch Feintuning von llama3.2 3B auf einem Mac unter Verwendung von Apple Health- und Whoop-Daten. Der gesamte Feintuning-Prozess dauerte etwa 15 Minuten mit MLX.

Technische Pipeline

Die Implementierung folgt diesem Arbeitsablauf:

• Apple Health- und Whoop-Daten in lokaler SQLite-Datenbank gespeichert
• SQL-RAG-Schicht wandelt natürlichsprachige Anfragen in SQL um
• Claude-API einmalig genutzt, um ~270 Goldstandard-Trainingsbeispiele zu generieren (anonymisierte Frage/SQL/Ergebnis-Paare, keine persönlichen Gesundheitsdaten übermittelt)
• LoRA-Feintuning auf llama3.2 3B via MLX
• Fusioniertes Modell lokal unter 127.0.0.1:8080 bereitgestellt

Vor vs. nach dem Feintuning

Die Quelle liefert konkrete Beispiele für die Verbesserung:

Vor dem Feintuning: "Ihre HRV ist ein wichtiger Maßstab für die Funktion des autonomen Nervensystems..." [500 Wörter allgemeiner Ratschläge]

Nach dem Feintuning: "Ihre HRV lag diese Woche im Durchschnitt bei 68ms, 12% niedriger als letzte Woche mit 77ms. Fällt mit 3 Nächten unter 7 Stunden Schlaf zusammen. Erwägen Sie, das Trainingspensum für 48 Stunden zu reduzieren."

Speicherbedarf und Hardware

• Modell (4-Bit): ~2 GB
• LoRA-Adapter: ~50 MB
• Trainingsspeicher: ~4-5 GB insgesamt
• Läuft auf M-Serie Mac, keine GPU benötigt

Der Entwickler erwähnt, dass technische Details zu SQL-Halluzinationssicherungen, kontextueller Anreicherung über Metriken hinweg und der Trainingspipeline im vollständigen Bericht enthalten sind. Er bietet auch an, Fragen zum MLX-Setup oder der RAG-Schicht-Implementierung zu beantworten.