Analizando 7 años de entradas de diario con un LLM: fallos en RAG vs Fine-Tuning

Un desarrollador en r/ClaudeAI compartió su experiencia alimentando un LLM con más de 200 entradas de un diario personal (que abarcan de 2019 a 2026) para un análisis longitudinal. El objetivo: detectar patrones de comportamiento y medir cómo cambiaron durante 7 años. El camino técnico estuvo lleno de callejones sin salida.

Principales fallos técnicos

• RAG (Generación Aumentada por Recuperación) falló — las entradas del diario eran demasiado similares, lo que provocó que la recuperación devolviera fragmentos semánticamente superpuestos. El modelo no pudo producir información longitudinal coherente.
• El ajuste fino falló — debido al pequeño conjunto de datos (200 entradas), el modelo se sobreajustó y no pudo generalizar patrones a lo largo del tiempo.
• Limitaciones de privacidad — no era posible usar APIs en la nube; el autor necesitaba procesamiento local para mantener los datos sensibles del diario seguros.

La solución alternativa

El enfoque final implicó dividir las entradas por año, resumir cada año con un LLM local (probablemente Llama o Mistral a través de Ollama), y luego alimentar los siete resúmenes anuales de nuevo al modelo para un análisis interanual. Esta suma jerárquica evitó las limitaciones de RAG y la necesidad de un ajuste fino a gran escala.

Perspectiva sorprendente

El LLM identificó un patrón recurrente: el autor redescubre las mismas lecciones de vida aproximadamente cada dos años, como si las encontrara por primera vez. Esto sugiere que la comprensión sin un mecanismo de aplicación no perdura — una metalección sobre el comportamiento humano y la reflexión asistida por LLM.

Para quién es esto

Desarrolladores que trabajan en proyectos de análisis personal, pipelines de LLM que preservan la privacidad o análisis longitudinal de texto con conjuntos de datos pequeños.

El autor publicó un artículo completo con cinco ideas y detalles de implementación en el enlace de abajo.