SDK Mémoire Engram : Mémoire basée sur des graphes pour agents IA avec modèles locaux

SDK de Mémoire Graphique pour Modèles d'IA Locaux

Engram Memory SDK est un système de mémoire graphique open-source conçu pour les agents d'IA qui fonctionne avec des modèles locaux via l'intégration LiteLLM. L'architecture principale sépare l'ingestion de la récupération : vous n'avez besoin du LLM qu'une seule fois pendant l'ingestion pour extraire les entités et les relations, tandis que la récupération fonctionne par recherche vectorielle pure, parcours de graphe et notation sans nécessiter d'appels LLM supplémentaires.

Détails Techniques

Le SDK est construit avec Python asynchrone et utilise Neo4j comme base de données backend. Selon la source, il moyenne environ ~735 tokens par opération d'ingestion et atteint une latence de récupération de 95ms. Le système inclut des fonctionnalités d'auto-restructuration de la mémoire avec décroissance et regroupement fonctionnant en arrière-plan.

Configuration et Installation

L'installation est simple :

pip install engram-memory-sdk

La configuration nécessite un fichier .env avec ces variables :

LLM_MODEL=ollama/llama3 # ou tout modèle local pris en charge par LiteLLM
NEO4J_URI=bolt://localhost:7687

Le système prend en charge n'importe quel modèle via LiteLLM, y compris les déploiements locaux via Ollama, vLLM et text-generation-webui. L'avantage clé est l'efficacité des coûts : avec un petit modèle local gérant l'extraction, les opérations de récupération en cours ont littéralement un coût de 0 $ puisqu'elles ne consomment pas de tokens LLM.