BaseLayer: AI 메모리 시스템을 위한 오픈소스 행동 압축 파이프라인

BaseLayer는 AI 메모리 시스템에서 사용하기 위해 텍스트 소스에서 구조화된 신원 데이터를 추출하는 오픈소스 행동 압축 파이프라인입니다. 이 도구는 모든 모델이나 메모리 시스템이 사용할 수 있는 신념, 행동, 긴장, 모순을 포함한 신원 요약을 생성하며, 모든 주장은 원본 사실로 추적 가능합니다.

주요 세부사항

현재 파이프라인은 처리를 위해 Claude를 사용합니다. API 비용은 소규모 데이터셋의 경우 <$1, 대규모 데이터셋의 경우 <$5로, 사실 추출부터 최종 요약 조립까지 전체 과정을 포함합니다.

이 시스템은 다양한 규모와 유형의 데이터에서 테스트되었습니다:

• 보조 대상자의 8개 개인 일기 항목만으로도
• GPT 대화 내보내기(3만 개 이상의 메시지)
• 워런 버핏의 연례 주주 서한(35만 단어)을 포함한 대규모 문서 코퍼스
• 하워드 막스 투자 메모(60만 단어)
• 프랭클린, 더글러스, 루즈벨트, 울스턴크래프트의 밀집 자서전

요약 조립 과정에는 압축된 신원 데이터의 하이쿠, 소네트, 오페라 버전을 포함한 여러 출력 형식이 포함됩니다.

모든 연구, 벤치마크, 문서 및 예제는 프로젝트 웹사이트와 GitHub 저장소에서 확인할 수 있습니다. 개발자는 진화, 어려움, 연구 및 향후 개선에 대한 피드백을 적극적으로 구하고 있습니다.