Analyse von 7 Jahren Tagebucheinträgen mit einem LLM: RAG vs. Fehlschläge beim Feintuning

Ein Entwickler auf r/ClaudeAI berichtete von seinen Erfahrungen, als er einem LLM über 200 persönliche Tagebucheinträge (von 2019 bis 2026) für eine Längsschnittanalyse fütterte. Das Ziel: Verhaltensmuster erkennen und messen, wie sie sich über sieben Jahre verändert haben. Der technische Weg war voller Sackgassen.

Wichtigste technische Fehlschläge

• RAG (Retrieval-Augmented Generation) scheiterte – die Tagebucheinträge waren zu ähnlich, sodass die Abfrage semantisch überlappende Textabschnitte zurücklieferte. Das Modell konnte keine kohärenten Längsschnitterkenntnisse liefern.
• Fine-Tuning scheiterte – aufgrund des kleinen Datensatzes (200 Einträge) passte sich das Modell zu sehr an und konnte keine Muster über die Zeit verallgemeinern.
• Datenschutzbeschränkungen – die Nutzung von Cloud-APIs kam nicht in Frage; der Autor benötigte eine lokale Verarbeitung, um die sensiblen Tagebuchdaten zu schützen.

Die Problemlösung

Der endgültige Ansatz bestand darin, die Einträge nach Jahren zu gruppieren, jedes Jahr mit einem lokalen LLM (wahrscheinlich Llama oder Mistral via Ollama) zusammenzufassen und dann die sieben Jahreszusammenfassungen erneut in das Modell einzuspeisen, um eine jahresübergreifende Analyse durchzuführen. Diese hierarchische Zusammenfassung umging die Einschränkungen von RAG und vermied die Notwendigkeit eines großangelegten Fine-Tunings.

Überraschende Erkenntnis

Das LLM identifizierte ein wiederkehrendes Muster: Der Autor entdeckt etwa alle zwei Jahre die gleichen Lebenslektionen neu, als begegne er ihnen zum ersten Mal. Dies deutet darauf hin, dass Erkenntnisse ohne einen Umsetzungsmechanismus nicht haften bleiben – eine Meta-Lektion über menschliches Verhalten und LLM-gestützte Reflexion.

Für wen das gedacht ist

Entwickler, die an persönlichen Analyseprojekten, datenschutzfreundlichen LLM-Pipelines oder Längsschnitttextanalysen mit kleinen Datensätzen arbeiten.

Der Autor hat einen vollständigen Beitrag mit fünf Erkenntnissen und Implementierungsdetails unter dem folgenden Link veröffentlicht.