エングラムメモリSDK：ローカルモデル搭載AIエージェント向けグラフベースメモリ

ローカルAIモデル向けグラフメモリSDK

Engram Memory SDKは、LiteLLM統合を介してローカルモデルと連携するAIエージェント向けに設計されたオープンソースのグラフメモリシステムです。コアアーキテクチャは取り込みと呼び出しを分離しており、エンティティと関係性を抽出するためのLLMは取り込み時に1回のみ必要です。一方、想起は純粋なベクトル検索、グラフトラバーサル、スコアリングによって動作し、追加のLLM呼び出しを必要としません。

技術詳細

このSDKは非同期Pythonで構築され、バックエンドデータベースとしてNeo4jを使用しています。ソースによると、取り込み操作あたり平均〜735トークンを処理し、95msの想起レイテンシを達成しています。システムには、バックグラウンドで実行される減衰とクラスタリングを備えた自己再構築メモリ機能が含まれています。

セットアップとインストール

インストールは簡単です：

pip install engram-memory-sdk

設定には、以下の変数を含む.envファイルが必要です：

LLM_MODEL=ollama/llama3 # またはLiteLLMがサポートする任意のローカルモデル
NEO4J_URI=bolt://localhost:7687

このシステムは、Ollama、vLLM、text-generation-webuiを介したローカルデプロイメントを含む、LiteLLMを介したあらゆるモデルをサポートしています。主な利点はコスト効率です：小さなローカルモデルで抽出を処理するため、継続的な想起操作はLLMトークンを消費しないため、文字通り$0のコストで実行できます。