Feinabstimmung von llama3.2 3B für personalisiertes Gesundheitscoaching unter Verwendung von Apple Watch-Daten und MLX
Ein Entwickler erstellte einen personalisierten Gesundheits-Coach-LLM durch Feintuning von llama3.2 3B auf einem Mac unter Verwendung von Apple Health- und Whoop-Daten. Der gesamte Feintuning-Prozess dauerte etwa 15 Minuten mit MLX.
Technische Pipeline
Die Implementierung folgt diesem Arbeitsablauf:
- Apple Health- und Whoop-Daten in lokaler SQLite-Datenbank gespeichert
- SQL-RAG-Schicht wandelt natürlichsprachige Anfragen in SQL um
- Claude-API einmalig genutzt, um ~270 Goldstandard-Trainingsbeispiele zu generieren (anonymisierte Frage/SQL/Ergebnis-Paare, keine persönlichen Gesundheitsdaten übermittelt)
- LoRA-Feintuning auf llama3.2 3B via MLX
- Fusioniertes Modell lokal unter 127.0.0.1:8080 bereitgestellt
Vor vs. nach dem Feintuning
Die Quelle liefert konkrete Beispiele für die Verbesserung:
Vor dem Feintuning: "Ihre HRV ist ein wichtiger Maßstab für die Funktion des autonomen Nervensystems..." [500 Wörter allgemeiner Ratschläge]
Nach dem Feintuning: "Ihre HRV lag diese Woche im Durchschnitt bei 68ms, 12% niedriger als letzte Woche mit 77ms. Fällt mit 3 Nächten unter 7 Stunden Schlaf zusammen. Erwägen Sie, das Trainingspensum für 48 Stunden zu reduzieren."
Speicherbedarf und Hardware
- Modell (4-Bit): ~2 GB
- LoRA-Adapter: ~50 MB
- Trainingsspeicher: ~4-5 GB insgesamt
- Läuft auf M-Serie Mac, keine GPU benötigt
Der Entwickler erwähnt, dass technische Details zu SQL-Halluzinationssicherungen, kontextueller Anreicherung über Metriken hinweg und der Trainingspipeline im vollständigen Bericht enthalten sind. Er bietet auch an, Fragen zum MLX-Setup oder der RAG-Schicht-Implementierung zu beantworten.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
IT-Ingenieur-Erfahrung mit KI-unterstützter Entwicklung deckt häufige Fallstricke auf
Ein IT-Ingenieur mit Hintergrund in System- und Automatisierungstechnik teilt seine Erfahrungen bei der Nutzung von KI für die Full-Stack-Entwicklung und erläutert spezifische Architekturprobleme, die mit dem Wachstum von Anwendungen auftraten, darunter übermäßige Datenverarbeitung auf Client-Seite, mangelnde Trennung der Zuständigkeiten und Sicherheitsprobleme.
Entwickler baut Browser-RPG in 9 Tagen mit Claude Code und Godot
Ein Entwickler erstellte 'Civic Nightmare', ein satirisches Browser-RPG, in 9 Tagen mit Godot und Claude Code als Teil eines Multi-Tool-KI-Workflows. Dies war sein erstes Mal mit der Godot-Engine.
Testen von Claude Sonnet mit einem Strategiespiel: Herausforderungen bei der Regelbefolgung
Ein Entwickler testete Claude Sonnet, indem er OFMOS® Essential spielte, ein patentiertes Strategiespiel zum Produktportfoliomanagement, unter Verwendung eines strukturierten Prompt-Systems mit Regeln, Brettdarstellung und Zugverwaltung. Das Modell verstand die Regeln und verfolgte die Punktestände, machte jedoch häufig illegale Züge aufgrund fehlender eingeschränkter Zuggenerierung.
Reproduktion von Anthropics Generator-Evaluator-Harnisch mit Kiro CLI: Ein 12-iterativer Website-Bau
Ein Entwickler hat Anthropics Multi-Agenten-Generator-Evaluator-Konzept mit Kiro CLI nachgebaut und in 12 adversarischen Iterationen eine Marketing-Website erstellt, ohne eine einzige Zeile Code manuell zu schreiben. Die wichtigsten Erkenntnisse: kein gemeinsamer Kontext, visuelle Evaluierung mit Playwright und Bestrafung von generischen KI-Designmustern.