엔그램 메모리 SDK: 로컬 모델을 위한 그래프 기반 AI 에이전트 메모리

로컬 AI 모델용 그래프 메모리 SDK

Engram Memory SDK는 LiteLLM 통합을 통해 로컬 모델과 작동하도록 설계된 AI 에이전트용 오픈소스 그래프 메모리 시스템입니다. 핵심 아키텍처는 수집과 회상을 분리합니다: 엔티티와 관계를 추출하기 위해 수집 과정에서만 LLM이 한 번 필요하며, 회상은 추가 LLM 호출 없이 순수 벡터 검색, 그래프 탐색 및 점수화를 통해 작동합니다.

기술적 세부사항

이 SDK는 비동기 Python으로 구축되었으며 백엔드 데이터베이스로 Neo4j를 사용합니다. 소스에 따르면, 평균 약 735개의 토큰을 수집 작업에 사용하며 95ms의 회상 지연 시간을 달성합니다. 시스템은 백그라운드에서 감쇠와 클러스터링을 실행하는 자체 재구조화 메모리 기능을 포함합니다.

설정 및 설치

설치는 간단합니다:

pip install engram-memory-sdk

구성에는 다음 변수들이 포함된 .env 파일이 필요합니다:

LLM_MODEL=ollama/llama3 # 또는 LiteLLM이 지원하는 모든 로컬 모델
NEO4J_URI=bolt://localhost:7687

이 시스템은 Ollama, vLLM, text-generation-webui를 통한 로컬 배포를 포함하여 LiteLLM을 통해 모든 모델을 지원합니다. 핵심 장점은 비용 효율성입니다: 작은 로컬 모델이 추출을 처리함으로써, 지속적인 회상 작업은 LLM 토큰을 소비하지 않기 때문에 실제로 $0의 비용이 발생합니다.