Bio-inspiriertes Gedächtnissystem für lokale LLMs: Implementierung von LTP und selektivem Vergessen

Bio-inspirierte Gedächtnisarchitektur für lokale LLMs

Ein Entwickler hat einen lokalen MCP-Server erstellt, der menschliche Gedächtnismechaniken simuliert, um sauberen Kontext für lokale LLMs zu erhalten. Das System implementiert drei bio-inspirierte Schichten in Python/TypeScript anstelle einer statischen RAG-Pipeline.

Kern-Gedächtnismechaniken

• Verstärkung (Long-Term Potentiation): Jedes Mal, wenn ein Thema abgefragt wird, erhöht sich dessen access_count, wodurch häufig genutzte Erinnerungen gestärkt werden.
• Selektives Vergessen: Ungenutzte Verbindungen zerfallen mit der Zeit, wobei das System schwache Atome automatisch archiviert, um Kontextverschmutzung zu verhindern.
• Konsolidierung: Ein wöchentlicher "Schlaf"-Zyklus destilliert kürzliche Protokolle mithilfe eines schlanken SLM in Kernwissensatome.

Technische Implementierungsdetails

• Hybridsuche: Kombiniert sqlite-vec für semantische Suche mit Text-Fallbacks, um Timeouts selbst bei fehlgeschlagenen Embeddings zu verhindern.
• Nicht-blockierendes MCP: Wickelt synchrone Datenbank- und Embedding-Operationen in asyncio-Executors ein, um LM Studio reaktionsfähig zu halten.
• Identitätsschicht: Nutzt eine persistente "Soul"-Datei (soul.md), um Zustand und Persona über Sitzungen hinweg zu bewahren.
• Zugriffsbasierte Verstärkung: Der access_count-Mechanismus ermöglicht es dem Modell, sich basierend auf Interaktionsmustern zu entwickeln, anstatt nur statische Fakten abzurufen.

Entwicklungskontext und Validierung

Das Projekt wurde entwickelt, um Kontextgrenzen in standardmäßigen RAG-Implementierungen für lokale KI zu adressieren. Der Entwickler validierte die Architektur, indem er ein lokales LLM (mit Gemini) den Code analysieren ließ, was drei Innovationen hervorhob: echte kognitive Agenten mit zugriffsbasierter Verstärkung und Zerfall, robuste Hybridsuche mit Fallbacks und nicht-blockierende Architektur für Reaktionsfähigkeit.

Das Ziel ist, ein System zu schaffen, das sich an Wichtiges erinnert und Rauschen vergisst, ähnlich dem menschlichen Gedächtnis während des Schlafs. Der Entwickler erforscht, ob bio-inspirierte Gedächtnisarchitekturen Kontextbeschränkungen lokal lösen können, ohne Cloud-Abhängigkeiten oder Blackboxen.