LightMem: LLM 에이전트를 위한 경량 메모리 시스템, 10배 이상의 성능 향상과 100배 낮은 비용

LightMem: LLM 에이전트를 위한 실용적인 메모리 계층

LightMem은 LLM 에이전트를 위한 경량 모듈형 메모리 시스템으로, 장기적이고 다중 턴의 상호작용에서 발생하는 맥락이 복잡해지고 비용이 증가하며, 모델이 "중간에 길을 잃는" 현상, 그리고 기존 메모리 시스템이 지연 시간과 토큰 비용을 증가시키는 문제를 해결합니다.

LightMem 작동 방식

이 시스템은 세 가지 핵심 메커니즘을 통해 간결하고 주제 중심적이며 일관된 메모리를 유지합니다:

• 사전 압축 감각 메모리: 저장 전에 중복 및 저가치 토큰을 필터링합니다
• 주제 인식 단기 메모리: 턴을 주제별로 클러스터링하고 정밀한 메모리 단위로 요약합니다
• 수면 시간 장기 통합: 런타임 중 점진적 삽입과 지연 시간 영향 없이 오프라인 고충실도 업데이트를 사용합니다

성능 결과

LongMemEval 벤치마크에서 LightMem은 다음과 같은 결과를 보여줍니다:

• 정확도 향상: 최대 ~10.9%
• 토큰 감소: 최대 117배
• API 호출 감소: 최대 159배
• 실행 시간 감소: >12배

최근 업데이트 및 기능

• LoCoMo 및 LongMemEval에서 메모리 시스템(Mem0, A-MEM, LangMem) 전반의 기준 평가 프레임워크
• 다중 시나리오를 위한 데모 비디오 및 튜토리얼 노트북
• 다중 도구 메모리 호출을 위한 MCP 서버 통합
• 전체 LoCoMo 데이터셋 지원
• 재현 가능한 스크립트와 함께 GLM-4.6 통합
• Ollama, vLLM, Transformers를 통한 자동 로드 기능이 포함된 로컬 배포

포지셔닝 및 사용 사례

LightMem은 다양한 에이전트 스택과 통합할 수 있는 모듈형 메모리 계층으로 설계되었으며, 다음을 포함합니다:

• 장문 맥락 에이전트
• 도구 사용 에이전트
• 자율 워크플로우
• 대화형 시스템

이 시스템은 토큰 수가 폭발적으로 증가하지 않으면서 확장 가능한 구조화된 메모리를 제공하여, 에이전트 프레임워크, 메모리/RAG 시스템, 장문 맥락 모델 및 응용 LLM 팀과 작업하는 개발자에게 특히 유용합니다.

사용 가능성

논문: https://arxiv.org/abs/2510.18866

코드: https://github.com/zjunlp/LightMem