Analisando 7 Anos de Entradas de Diário com um LLM: Falhas de RAG vs Fine-Tuning

Um desenvolvedor no r/ClaudeAI compartilhou sua experiência de alimentar um LLM com mais de 200 entradas pessoais de diário (abrangendo 2019–2026) para análise longitudinal. O objetivo: detectar padrões comportamentais e medir como eles mudaram ao longo de 7 anos. O caminho técnico foi cheio de becos sem saída.

Principais Falhas Técnicas

• RAG (Geração Aumentada por Recuperação) falhou — as entradas do diário eram muito semelhantes, fazendo com que a recuperação retornasse partes semanticamente sobrepostas. O modelo não conseguiu produzir insights longitudinais coerentes.
• Fine-tuning falhou — devido ao conjunto de dados pequeno (200 entradas), o modelo se ajustou demais e não conseguiu generalizar padrões ao longo do tempo.
• Restrições de privacidade — usar APIs em nuvem não era uma opção; o autor precisava de processamento local para manter os dados sensíveis do diário seguros.

A Solução Alternativa

A abordagem final envolveu dividir as entradas por ano, resumir cada ano com um LLM local (provavelmente Llama ou Mistral via Ollama) e, em seguida, alimentar os sete resumos anuais de volta ao modelo para análise entre anos. Essa sumarização hierárquica contornou as limitações do RAG e evitou a necessidade de fine-tuning em grande escala.

Insight Surpreendente

O LLM identificou um padrão recorrente: o autor redescobre as mesmas lições de vida aproximadamente a cada dois anos, como se as encontrasse pela primeira vez. Isso sugere que insight sem um mecanismo de aplicação não se fixa — uma metálica sobre o comportamento humano e a reflexão assistida por LLM.

Para Quem É Isso

Desenvolvedores trabalhando em projetos de análise pessoal, pipelines de LLM que preservam a privacidade ou análise longitudinal de texto com conjuntos de dados pequenos.

O autor publicou um artigo completo com cinco insights e detalhes de implementação no link abaixo.