Тонкая настройка llama3.2 3B для персонализированного коучинга в сфере здоровья с использованием данных Apple Watch и MLX

Разработчик создал персонального ИИ-тренера по здоровью, дообучив модель llama3.2 3B на Mac с использованием данных из Apple Health и Whoop. Весь процесс дообучения занял примерно 15 минут с помощью MLX.

Технический пайплайн

Реализация следует такому рабочему процессу:

• Данные Apple Health и Whoop хранятся в локальной базе SQLite
• Слой RAG на основе SQL преобразует естественно-языковые запросы в SQL
• API Claude использовался один раз для генерации ~270 эталонных обучающих примеров (анонимизированные пары вопрос/SQL/результат, без передачи личных медицинских данных)
• Дообучение LoRA на llama3.2 3B через MLX
• Объединённая модель работает локально на 127.0.0.1:8080

До и после дообучения

В источнике приводятся конкретные примеры улучшений:

До дообучения: "Ваш HRV — важный показатель функции вегетативной нервной системы..." [500 слов общих рекомендаций]

После дообучения: "Ваш HRV в среднем составлял 68 мс на этой неделе, что на 12% ниже, чем 77 мс на прошлой неделе. Это совпадает с 3 ночами сна менее 7 часов. Рекомендуется снизить интенсивность тренировок на 48 часов."

Объём памяти и оборудование

• Модель (4-битная): ~2 ГБ
• Адаптер LoRA: ~50 МБ
• Память при обучении: ~4-5 ГБ всего
• Работает на Mac серии M, GPU не требуется

Разработчик упоминает, что в полной статье содержатся технические детали о защите от галлюцинаций в SQL, обогащении контекста между метриками и пайплайне обучения. Он также предлагает ответить на вопросы о настройке MLX или реализации RAG-слоя.