Ajuste fino de llama3.2 3B para entrenamiento de salud personalizado utilizando datos de Apple Watch y MLX

Un desarrollador creó un LLM de entrenador de salud personalizado ajustando llama3.2 3B en una Mac usando datos de Apple Health y Whoop. Todo el proceso de ajuste tomó aproximadamente 15 minutos utilizando MLX.

Canalización técnica

La implementación sigue este flujo de trabajo:

• Datos de Apple Health y Whoop almacenados en una base de datos SQLite local
• Capa SQL RAG convierte consultas en lenguaje natural a SQL
• API de Claude utilizada una vez para generar ~270 ejemplos de entrenamiento de referencia (pares de preguntas/SQL/resultados anonimizados, sin enviar datos personales de salud)
• Ajuste fino LoRA en llama3.2 3B mediante MLX
• Modelo fusionado servido localmente en 127.0.0.1:8080

Antes vs. después del ajuste fino

La fuente proporciona ejemplos concretos de la mejora:

Antes del ajuste fino: "Tu HRV es una medida importante de la función del sistema nervioso autónomo..." [500 palabras de consejos genéricos]

Después del ajuste fino: "Tu HRV promedió 68ms esta semana, un 12% menos que los 77ms de la semana pasada. Coincide con 3 noches con menos de 7 horas de sueño. Considera reducir la intensidad del entrenamiento durante 48 horas."

Huella de memoria y hardware

• Modelo (4 bits): ~2 GB
• Adaptador LoRA: ~50 MB
• Memoria de entrenamiento: ~4-5 GB total
• Funciona en Mac de serie M, sin necesidad de GPU

El desarrollador menciona incluir detalles técnicos sobre barreras de protección contra alucinaciones SQL, enriquecimiento de contexto entre métricas y la canalización de entrenamiento en su informe completo. También se ofrece a responder preguntas sobre la configuración de MLX o la implementación de la capa RAG.