생체 모방 메모리 시스템을 로컬 LLM에 적용: LTP 및 선택적 망각 구현

로컬 LLM을 위한 생체 모방 메모리 아키텍처

개발자가 로컬 LLM을 위한 깨끗한 컨텍스트를 유지하기 위해 인간의 메모리 메커니즘을 시뮬레이션하는 로컬 MCP 서버를 만들었습니다. 이 시스템은 정적 RAG 파이프라인 대신 Python/TypeScript로 세 가지 생체 모방 계층을 구현합니다.

핵심 메모리 메커니즘

• 강화 (장기 강화): 주제가 질의될 때마다 access_count가 증가하여 자주 접근하는 메모리를 강화합니다.
• 선택적 망각: 사용되지 않는 연결은 시간이 지남에 따라 감쇠하며, 시스템은 약한 원자를 자동으로 보관하여 컨텍스트 오염을 방지합니다.
• 통합: 주간 "수면" 주기는 경량 SLM을 사용하여 최근 로그를 핵심 지식 원자로 정제합니다.

기술 구현 세부사항

• 하이브리드 검색: 의미론적 검색을 위한 sqlite-vec와 임베딩 실패 시에도 타임아웃을 방지하는 텍스트 폴백을 결합합니다.
• 논블로킹 MCP: 동기식 데이터베이스 및 임베딩 작업을 asyncio 실행기로 감싸 LM Studio의 반응성을 유지합니다.
• 정체성 계층: 세션 간 상태와 페르소나를 유지하기 위해 지속적인 "Soul" 파일(soul.md)을 사용합니다.
• 접근 기반 강화: access_count 메커니즘은 정적 사실만 검색하는 대신 상호작용 패턴에 기반하여 모델이 진화할 수 있도록 합니다.

개발 배경 및 검증

이 프로젝트는 로컬 AI를 위한 표준 RAG 구현의 컨텍스트 제한을 해결하기 위해 개발되었습니다. 개발자는 로컬 LLM(Gemini 실행)이 코드베이스를 분석하도록 하여 아키텍처를 검증했으며, 이는 세 가지 혁신을 강조했습니다: 접근 기반 강화 및 감쇠를 사용한 진정한 인지 에이전트, 폴백이 있는 강력한 하이브리드 검색, 반응성을 위한 논블로킹 아키텍처.

목표는 수면 중 인간의 메모리와 유사하게 중요한 것을 기억하고 잡음을 잊는 시스템을 만드는 것입니다. 개발자는 생체 모방 메모리 아키텍처가 클라우드 의존성이나 블랙박스 없이 로컬에서 컨텍스트 제한을 해결할 수 있는지 탐구하고 있습니다.