Engram Memory SDK: Graph-basierte Speicherlösung für KI-Agenten mit lokalen Modellen

Graph Memory SDK für lokale KI-Modelle

Engram Memory SDK ist ein Open-Source-Graphgedächtnissystem für KI-Agenten, das mit lokalen Modellen über LiteLLM-Integration funktioniert. Die Kernarchitektur trennt Aufnahme von Abruf: Sie benötigen den LLM nur einmal während der Aufnahme, um Entitäten und Beziehungen zu extrahieren, während der Abruf über reine Vektorsuche, Graphendurchlauf und Bewertung ohne zusätzliche LLM-Aufrufe erfolgt.

Technische Details

Das SDK ist mit asynchronem Python gebaut und verwendet Neo4j als Backend-Datenbank. Laut Quelle beträgt es durchschnittlich ~735 Token pro Aufnahmevorgang und erreicht 95ms Abruflatenz. Das System umfasst selbstrestrukturierende Gedächtnisfunktionen mit Verfall und Clustering, die im Hintergrund laufen.

Einrichtung und Installation

Die Installation ist unkompliziert:

pip install engram-memory-sdk

Die Konfiguration erfordert eine .env-Datei mit diesen Variablen:

LLM_MODEL=ollama/llama3 # oder jedes LiteLLM-unterstützte lokale Modell
NEO4J_URI=bolt://localhost:7687

Das System unterstützt jedes Modell über LiteLLM, einschließlich lokaler Bereitstellungen über Ollama, vLLM und text-generation-webui. Der Hauptvorteil ist Kosteneffizienz: Mit einem kleinen lokalen Modell für die Extraktion haben laufende Abrufvorgänge buchstäblich $0 Kosten, da sie keine LLM-Token verbrauchen.