Feinabstimmung von llama3.2 3B für personalisiertes Gesundheitscoaching unter Verwendung von Apple Watch-Daten und MLX
Ein Entwickler erstellte einen personalisierten Gesundheits-Coach-LLM durch Feintuning von llama3.2 3B auf einem Mac unter Verwendung von Apple Health- und Whoop-Daten. Der gesamte Feintuning-Prozess dauerte etwa 15 Minuten mit MLX.
Technische Pipeline
Die Implementierung folgt diesem Arbeitsablauf:
- Apple Health- und Whoop-Daten in lokaler SQLite-Datenbank gespeichert
- SQL-RAG-Schicht wandelt natürlichsprachige Anfragen in SQL um
- Claude-API einmalig genutzt, um ~270 Goldstandard-Trainingsbeispiele zu generieren (anonymisierte Frage/SQL/Ergebnis-Paare, keine persönlichen Gesundheitsdaten übermittelt)
- LoRA-Feintuning auf llama3.2 3B via MLX
- Fusioniertes Modell lokal unter 127.0.0.1:8080 bereitgestellt
Vor vs. nach dem Feintuning
Die Quelle liefert konkrete Beispiele für die Verbesserung:
Vor dem Feintuning: "Ihre HRV ist ein wichtiger Maßstab für die Funktion des autonomen Nervensystems..." [500 Wörter allgemeiner Ratschläge]
Nach dem Feintuning: "Ihre HRV lag diese Woche im Durchschnitt bei 68ms, 12% niedriger als letzte Woche mit 77ms. Fällt mit 3 Nächten unter 7 Stunden Schlaf zusammen. Erwägen Sie, das Trainingspensum für 48 Stunden zu reduzieren."
Speicherbedarf und Hardware
- Modell (4-Bit): ~2 GB
- LoRA-Adapter: ~50 MB
- Trainingsspeicher: ~4-5 GB insgesamt
- Läuft auf M-Serie Mac, keine GPU benötigt
Der Entwickler erwähnt, dass technische Details zu SQL-Halluzinationssicherungen, kontextueller Anreicherung über Metriken hinweg und der Trainingspipeline im vollständigen Bericht enthalten sind. Er bietet auch an, Fragen zum MLX-Setup oder der RAG-Schicht-Implementierung zu beantworten.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Wie das 5-Schichten-Autonome-Agenten-System von OpenClaw den Kontextwechsel für Solo-Entwickler reduziert
OpenClaw fungiert als 5-Schichten-Autonom-Agentensystem, das E-Mails, GitHub, Kalender, Telegram und Webhooks rund um die Uhr überwacht. Der gemeinsame Speicher zwischen den Agenten ermöglicht automatisierte Workflows ohne manuelles Eingreifen.
OpenClaw Assistant erstellt Dockerisierten Terminal-Assistenten mit Benutzerdefiniertem Routing
Ein OpenClaw-Benutzer berichtet, dass sein Hauptassistent geholfen hat, einen zweiten Assistenten innerhalb von Docker mit eigenem Arbeitsbereich, Speicher und terminalorientiertem Verhalten einzurichten. Nachrichten, die mit 'meow:' beginnen, werden an den containerisierten Terminal-Assistenten weitergeleitet statt an die Haupt-Chat-Oberfläche.
Designer baut Full-Stack-Plattform mit Claude CLI: Erkenntnisse ohne formale Programmierkenntnisse
Ein Designer mit WordPress-Erfahrung nutzte Claude CLI, um eine Plattform zur Verwaltung medizinischer Fachzeitschriften aufzubauen, die über 500 Veranstaltungsregistrierungen, mehr als 3.500 Nutzer in geschützten Bereichen und über 100 E-Learning-Kurse handhabt. Wichtige Erkenntnisse umfassen die Verwendung separater KI-Instanzen zum Debuggen und die Versionskontrolle aller Inhalte auf GitHub.
Ausführen von Claude Code als Kubernetes CronJob: Produktionserkenntnisse und Open-Source-Einrichtung
Ein Team von everyrow.io teilt seine Erfahrungen mit dem unbeaufsichtigten Betrieb von Claude Code als Kubernetes CronJob, dokumentiert undokumentierte Eigenheiten und stellt seinen Dockerfile, Entrypoint, Helm-Chart und Logging-Setup als Open Source zur Verfügung.