Engram Memory SDK: Графовая память для ИИ-агентов с локальными моделями

SDK графовой памяти для локальных ИИ-моделей

Engram Memory SDK — это система графовой памяти с открытым исходным кодом, разработанная для ИИ-агентов, которая работает с локальными моделями через интеграцию с LiteLLM. Основная архитектура разделяет обработку данных и их извлечение: LLM требуется только один раз во время обработки для извлечения сущностей и связей, в то время как извлечение работает через чистый векторный поиск, обход графа и оценку без необходимости дополнительных вызовов LLM.

Технические детали

SDK построен на асинхронном Python и использует Neo4j в качестве базы данных. Согласно источнику, в среднем требуется ~735 токенов на операцию обработки, а задержка при извлечении составляет 95 мс. Система включает функции самореструктуризации памяти с фоновыми процессами затухания и кластеризации.

Установка и настройка

Установка проста:

pip install engram-memory-sdk

Для настройки требуется файл .env со следующими переменными:

LLM_MODEL=ollama/llama3 # или любая локальная модель, поддерживаемая LiteLLM
NEO4J_URI=bolt://localhost:7687

Система поддерживает любые модели через LiteLLM, включая локальные развертывания через Ollama, vLLM и text-generation-webui. Ключевое преимущество — экономическая эффективность: при использовании небольшой локальной модели для извлечения, операции извлечения данных буквально не требуют затрат, поскольку не потребляют токены LLM.