soul.py ist eine Python-Bibliothek, die persistente Speicherung für lokale LLM-Sitzungen bereitstellt, indem sie den Konversationsverlauf in menschenlesbaren Markdown-Dateien speichert, wodurch Datenbanken oder laufende Server überflüssig werden.

Funktionsweise

Die Bibliothek erstellt zwei Markdown-Dateien: SOUL.md für Identitätsinformationen und MEMORY.md für Konversationsprotokolle. Jedes Mal, wenn Sie agent.ask() aufrufen, liest das System beide Dateien in die Systemaufforderung ein, verarbeitet die Anfrage und fügt den Austausch dann an MEMORY.md an. Dadurch bleibt der Speicher über Prozesse und Sitzungen hinweg erhalten.

Grundlegende Verwendung

Installation und Einrichtung:

pip install soul-agent
soul init

Beispielimplementierung mit Ollama:

from soul import Agent

agent = Agent(
    provider="openai-compatible",
    base_url="http://localhost:11434/v1",
    model="llama3.2",
    api_key="ollama"
)
agent.ask("Mein Name ist Prahlad, ich arbeite in einem KI-Forschungslabor.")
Später in einer neuen Sitzung:
agent.ask("Was wissen Sie über mich?")
Antwort: "Sie sind Prahlad und arbeiten in einem KI-Forschungslabor."

Hauptmerkmale

• Funktioniert mit Ollama-, OpenAI- und Anthropic-Modellen
• Keine Datenbank oder Server erforderlich
• Menschenlesbare Markdown-Dateien
• Git-versionierbar und manuell bearbeitbar
• Speicher bleibt über Prozesse und Sitzungen hinweg erhalten
• Speziell für die Hinzufügung von persistentem Speicher zu lokalen Modellen entwickelt

Das Tool wurde entwickelt, um das Problem zu lösen, dass lokale LLMs Informationen zwischen Sitzungen vergessen, und bietet eine leichtgewichtige Alternative zu datenbankgestützten Lösungen.