LLM으로 7년간의 일기 분석하기: RAG 대 미세 조정 실패

r/ClaudeAI의 한 개발자가 200개 이상의 개인 일기 항목(2019~2026년)을 LLM에 입력하여 종단 분석을 수행한 경험을 공유했다. 목표는 행동 패턴을 감지하고 7년 동안 어떻게 변화했는지 측정하는 것이었다. 기술적 경로는 막다른 골목이 많았다.

주요 기술적 실패

• RAG(검색 증강 생성) 실패 — 일기 항목이 너무 유사하여 검색이 의미론적으로 겹치는 청크를 반환했다. 모델이 일관된 종단 통찰을 생성할 수 없었다.
• 파인튜닝 실패 — 작은 데이터셋(200개 항목) 때문에 모델이 과적합되어 시간에 따른 패턴을 일반화하지 못했다.
• 프라이버시 제약 — 클라우드 API 사용이 불가능했다. 작성자는 민감한 일기 데이터를 안전하게 유지하기 위해 로컬 처리가 필요했다.

해결책

최종 접근법은 항목을 연도별로 청크로 나누고, 각 연도를 로컬 LLM(아마 Llama 또는 Ollama를 통한 Mistral)으로 요약한 후, 7개의 연도 요약을 다시 모델에 입력하여 연도 간 분석을 수행하는 것이었다. 이 계층적 요약은 RAG의 한계를 우회하고 대규모 파인튜닝의 필요성을 피했다.

놀라운 통찰

LLM은 반복되는 패턴을 식별했다: 작성자는 약 2년마다 같은 인생 교훈을 처음 마주하는 것처럼 재발견한다. 이는 시행 메커니즘이 없는 통찰은 지속되지 않는다는 인간 행동과 LLM 기반 성찰에 관한 메타 교훈을 시사한다.

대상 독자

개인 분석 프로젝트, 프라이버시를 보호하는 LLM 파이프라인, 또는 소규모 데이터셋을 사용한 종단 텍스트 분석에 관심 있는 개발자.

작성자는 아래 링크에 다섯 가지 통찰과 구현 세부사항이 포함된 전체 글을 게시했다.