Hybrides RAG für lokale Agentenspeicher mit OpenClaw, Ollama und nomic-embed-text

Problem: Retrieval, nicht Speicherung

Der Entwickler hatte monatelange tägliche Speicherprotokolle in Markdown-Dateien gespeichert, was für das Speichern von Informationen funktionierte, aber nicht für das Wiederfinden. Wenn der Agent vergangenen Kontext benötigte, fiel er auf das Ausführen von ls zurück, öffnete Dateien einzeln, verbrauchte Tokens und verpasste manchmal relevante Informationen. Das Problem war der Abruf nach Bedeutung, nicht die Speicherung.

Lösung: Hybrider RAG mit lokalen Embeddings

Der Entwickler aktivierte memorySearch in OpenClaw mit Ollama als Anbieter und nomic-embed-text für lokale Embeddings, die im Hybridmodus laufen. Hybrid bedeutet 70% Vektorähnlichkeit (Kosinus via nomic-embed-text) kombiniert mit 30% BM25-Schlüsselwortabgleich. Vektoren behandeln semantische Nähe, während BM25 exakte Namen, Versionen und IDs behandelt. MMR reduziert redundante Ergebnisse, und zeitlicher Abfall gibt neueren Protokollen mehr Gewicht. Alles läuft lokal ohne externe APIs.

Konfiguration

"memorySearch": {
  "provider": "ollama",
  "query": {
    "hybrid": {
      "enabled": true,
      "vectorWeight": 0.7,
      "textWeight": 0.3,
      "mmr": {
        "enabled": true,
        "lambda": 0.7
      },
      "temporalDecay": {
        "enabled": true,
        "halfLifeDays": 30
      }
    }
  }
}

Einrichtungsanweisungen

• OpenClaw erkennt Ollama automatisch unter localhost:11434
• Keine Notwendigkeit, baseUrl oder Modell anzugeben – es erkennt nomic-embed-text, wenn heruntergeladen
• Zuerst ollama pull nomic-embed-text ausführen, dann das Gateway neu starten
• Vermeiden Sie provider: "openai" und das Zeigen von baseUrl auf Ollama – verwenden Sie direkt provider: "ollama"

Erforderliche Verhaltensänderung

Das Aktivieren des Tools reichte nicht aus. Ohne explizite Anweisungen, memorySearch vor dem direkten Lesen von Dateien zu verwenden, übersprang der Agent es und nahm den langsameren, tokenintensiven Weg. Der Entwickler schrieb eine Regel in sowohl AGENTS.md als auch MEMORY.md im Arbeitsbereich, um die Speichersuche zum normalen Arbeitsablauf des Agenten zu machen.

Vorher vs. Nachher Ergebnisse

• Vorher: Ordner durchsuchen, Dateien blind öffnen, hoffen, dass Formulierungen übereinstimmen, Tokens verschwenden, Kontext verpassen
• Nachher: memory_search mit semantischer Abfrage ausführen, gerankte Ergebnisse mit Ähnlichkeitswerten abrufen, beste Übereinstimmung öffnen, aus tatsächlichen vergangenen Notizen antworten
• Ähnlichkeitswerte für relevante Ergebnisse liegen typischerweise zwischen 0,45 und 0,48 für nomic-embed-text bei Prosa-Protokollen

Praktische Hinweise

• nomic-embed-text hat standardmäßig ein 2048-Token-Kontextlimit, nicht 8192 – große Dateien können beim Indizieren abgeschnitten werden
• Speicherdateien auf Spanisch funktionieren gut – nomic-embed-text verarbeitet Spanisch ohne Probleme
• Die Abrufqualität hängt von der Notizqualität ab – vage Protokolle verursachen weiterhin semantische Suchschwierigkeiten

Tech-Stack

• OpenClaw (lokal, selbst gehostet)
• Ollama + nomic-embed-text:latest
• SQLite mit sqlite-vec und FTS5 (automatisch von OpenClaw bei erstem Gebrauch erstellt)
• Mac mini M4, 16GB Unified Memory