Feinabstimmung von llama3.2 3B für personalisiertes Gesundheitscoaching unter Verwendung von Apple Watch-Daten und MLX
Ein Entwickler erstellte einen personalisierten Gesundheits-Coach-LLM durch Feintuning von llama3.2 3B auf einem Mac unter Verwendung von Apple Health- und Whoop-Daten. Der gesamte Feintuning-Prozess dauerte etwa 15 Minuten mit MLX.
Technische Pipeline
Die Implementierung folgt diesem Arbeitsablauf:
- Apple Health- und Whoop-Daten in lokaler SQLite-Datenbank gespeichert
- SQL-RAG-Schicht wandelt natürlichsprachige Anfragen in SQL um
- Claude-API einmalig genutzt, um ~270 Goldstandard-Trainingsbeispiele zu generieren (anonymisierte Frage/SQL/Ergebnis-Paare, keine persönlichen Gesundheitsdaten übermittelt)
- LoRA-Feintuning auf llama3.2 3B via MLX
- Fusioniertes Modell lokal unter 127.0.0.1:8080 bereitgestellt
Vor vs. nach dem Feintuning
Die Quelle liefert konkrete Beispiele für die Verbesserung:
Vor dem Feintuning: "Ihre HRV ist ein wichtiger Maßstab für die Funktion des autonomen Nervensystems..." [500 Wörter allgemeiner Ratschläge]
Nach dem Feintuning: "Ihre HRV lag diese Woche im Durchschnitt bei 68ms, 12% niedriger als letzte Woche mit 77ms. Fällt mit 3 Nächten unter 7 Stunden Schlaf zusammen. Erwägen Sie, das Trainingspensum für 48 Stunden zu reduzieren."
Speicherbedarf und Hardware
- Modell (4-Bit): ~2 GB
- LoRA-Adapter: ~50 MB
- Trainingsspeicher: ~4-5 GB insgesamt
- Läuft auf M-Serie Mac, keine GPU benötigt
Der Entwickler erwähnt, dass technische Details zu SQL-Halluzinationssicherungen, kontextueller Anreicherung über Metriken hinweg und der Trainingspipeline im vollständigen Bericht enthalten sind. Er bietet auch an, Fragen zum MLX-Setup oder der RAG-Schicht-Implementierung zu beantworten.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Billiger OpenClaw-Setup: 5$/Monat Hetzner VPS + DeepSeek API für unter 1$
Ein Reddit-Nutzer teilt ein praktisches OpenClaw-Setup mit einem Hetzner-VPS für 5 €/Monat, DeepSeek-API (5 € Guthaben), Telegram-Bot, Grafana und Netdata – die Kosten belaufen sich bisher auf etwa 1 €.
Das Qwen 27B-Modell zeigt starke Leistung bei der Analyse von Lore mit langem Kontext
Ein Nutzer berichtet, dass Qwen 27B dichte 80K-Token-Geschichtendokumente effektiv analysiert und dabei andere lokale Modelle wie Gemma 3 27B und Reka Flash für detaillierte Fantasy-Weltenbauaufgaben übertrifft. Die Q4-K-XL-Quantisierung bietet das beste Geschwindigkeits-/Qualitätsverhältnis für lange Kontexte.
Einzelgründer baut Nachrichtenanalyse-Plattform mit Claude Code: Lektionen über Skalierung und Fehlerbehebung
Ein alleiniger Gründer ohne Informatikstudium hat The Daily Martian aufgebaut, eine Nachrichtenanalyseplattform, die über 40 Nachrichtenquellen analysiert, indem sie Python/FastAPI, PostgreSQL, Redis und React/TypeScript verwendet, hauptsächlich durch Claude Code. Der Entwickler teilt spezifische Herausforderungen wie Kontextverlust, Datenbankverbindungsprobleme und Debugging-Strategien.
Tanya: Ein auf OpenClaw basierender KI-Begleiter mit geschichtetem Gedächtnis und emotionalem Zustand
Tanya ist ein quelloffener KI-Begleiter, der auf OpenClaw basiert und auf Telegram läuft. Sie verfügt über zweischichtige Gedächtniskonsolidierung, dynamische emotionale Zustände und Sprachinteraktionen mit eingebetteten Ausdrucks-Tags. Das Projekt umfasst eine detaillierte SOUL.md-Charakteraufforderung und verarbeitet Textnachrichten, Sprachnachrichten, Anrufe und Bildaustausch.