Apple Watch 데이터와 MLX를 활용한 맞춤형 건강 코칭을 위해 llama3.2 3B 파인튜닝하기

한 개발자가 애플 헬스와 후프 데이터를 사용해 맥에서 llama3.2 3B를 파인튜닝하여 맞춤형 건강 코치 LLM을 만들었습니다. MLX를 사용한 전체 파인튜닝 과정은 약 15분 정도 걸렸습니다.

기술 파이프라인

구현은 다음과 같은 워크플로우를 따릅니다:

• 애플 헬스와 후프 데이터는 로컬 SQLite 데이터베이스에 저장됨
• SQL RAG 레이어가 자연어 질의를 SQL로 변환
• 클로드 API를 한 번 사용해 ~270개의 금본위 훈련 예시 생성 (익명화된 질문/SQL/결과 쌍, 개인 건강 데이터 전송 없음)
• MLX를 통한 llama3.2 3B의 LoRA 파인튜닝
• 융합된 모델이 127.0.0.1:8080에서 로컬로 서비스됨

파인튜닝 전후 비교

원본은 개선 사항의 구체적인 예시를 제공합니다:

파인튜닝 전: "당신의 HRV는 자율신경계 기능의 중요한 측정치입니다..." [500단어 분량의 일반적인 조언]

파인튜닝 후: "이번 주 당신의 HRV 평균은 68ms로, 지난 주 77ms 대비 12% 감소했습니다. 7시간 미만 수면을 3일 보낸 시기와 일치합니다. 48시간 동안 훈련 강도를 줄이는 것을 고려해보세요."

메모리 사용량과 하드웨어

• 모델 (4비트): ~2 GB
• LoRA 어댑터: ~50 MB
• 훈련 메모리: 총 ~4-5 GB
• M 시리즈 맥에서 실행, GPU 불필요

개발자는 전체 글에서 SQL 환각 방지 장치, 교차 지표 컨텍스트 강화, 훈련 파이프라인에 대한 기술적 세부사항을 포함했다고 언급합니다. 또한 MLX 설정이나 RAG 레이어 구현에 관한 질문에 답변할 의사도 밝혔습니다.