Apple WatchデータとMLXを使用したパーソナライズされたヘルスコーチングのためのllama3.2 3Bのファインチューニング

ある開発者が、Apple HealthとWhoopのデータを使用してMac上でllama3.2 3Bをファインチューニングすることで、パーソナライズされた健康コーチLLMを作成しました。MLXを使用したファインチューニングプロセス全体は約15分で完了しました。

技術的パイプライン

実装は以下のワークフローに従っています：

• Apple HealthとWhoopのデータはローカルのSQLiteデータベースに保存
• SQL RAGレイヤーが自然言語クエリをSQLに変換
• Claude APIを一度使用して約270のゴールドスタンダードトレーニング例を生成（匿名化された質問/SQL/結果のペア、個人の健康データは送信されず）
• MLX経由でllama3.2 3BをLoRAファインチューニング
• 融合モデルを127.0.0.1:8080でローカルに提供

ファインチューニング前と後

ソースには改善の具体的な例が示されています：

ファインチューニング前：「あなたのHRVは自律神経系機能の重要な指標です…」[500語の一般的なアドバイス]

ファインチューニング後：「あなたのHRVは今週平均68msで、先週の77msから12%低下しています。これは7時間未満の睡眠が3晩続いた時期と一致します。48時間トレーニング強度を下げることを検討してください。」

メモリ使用量とハードウェア

• モデル（4ビット）：約2 GB
• LoRAアダプター：約50 MB
• トレーニングメモリ：合計約4-5 GB
• MシリーズMacで動作、GPU不要

開発者は、SQLハルシネーションガードレール、クロスメトリックコンテキスト強化、トレーニングパイプラインに関する技術的詳細を完全な記事に含めていると述べています。また、MLXセットアップやRAGレイヤー実装に関する質問にも答える用意があるとしています。