Analyse de 7 ans de journal intime avec un LLM : échecs du RAG vs du fine-tuning

Un développeur sur r/ClaudeAI a partagé son expérience d'avoir alimenté un LLM avec plus de 200 entrées de journal personnel (couvrant la période 2019-2026) pour une analyse longitudinale. L'objectif : détecter des schémas comportementaux et mesurer leur évolution sur 7 ans. Le parcours technique a été semé d'impasses.

Principaux échecs techniques

• RAG (Retrieval-Augmented Generation) a échoué — les entrées du journal étaient trop similaires, ce qui a fait que la récupération renvoyait des segments sémantiquement redondants. Le modèle n'a pas pu produire d'aperçus longitudinaux cohérents.
• Le fine-tuning a échoué — en raison du petit ensemble de données (200 entrées), le modèle a surappris et n'a pas pu généraliser les schémas temporels.
• Contraintes de confidentialité — l'utilisation d'API cloud n'était pas une option ; l'auteur avait besoin d'un traitement local pour sécuriser les données sensibles du journal.

La solution de contournement

L'approche finale consistait à diviser les entrées par année, à résumer chaque année avec un LLM local (probablement Llama ou Mistral via Ollama), puis à réinjecter les sept résumés annuels dans le modèle pour une analyse interannuelle. Ce résumé hiérarchique a contourné les limites de RAG et évité le besoin de fine-tuning à grande échelle.

Aperçu surprenant

Le LLM a identifié un schéma récurrent : l'auteur redécouvre les mêmes leçons de vie environ tous les deux ans, comme s'il les rencontrait pour la première fois. Cela suggère que la perspicacité sans mécanisme d'application ne tient pas — une méta-leçon sur le comportement humain et la réflexion assistée par LLM.

Pour qui cela s'adresse

Développeurs travaillant sur des projets d'analyse personnelle, des pipelines LLM respectueux de la vie privée, ou des analyses textuelles longitudinales avec de petits ensembles de données.

L'auteur a publié un article complet avec cinq aperçus et détails d'implémentation au lien ci-dessous.