Hybride Suche mit RRF verbessert KI-Gedächtnissystem im Vergleich zu reiner Vektorsuche
Ein Open-Source-Gedächtnissystem für KI-Assistenten wurde entwickelt, das PostgreSQL mit pgvector in einer lokal-first, selbst-gehosteten Umgebung nutzt. Das System speichert Informationen, die KI-Assistenten sich über Sitzungen hinweg merken sollen, und macht sie durchsuchbar.
Warum reine Vektorsuche nicht ausreichte
Der Entwickler begann mit reiner Vektorsuche: Einbetten von Abfragen, Nutzung der Kosinusähnlichkeit und Rückgabe der Top-k-Ergebnisse. Während dies bei vagen Fragen funktionierte, scheiterte es konsequent bei exakten Übereinstimmungen. Beispielsweise würde die Suche nach "RRF merging" Abschnitte über "combining ranked lists" von vor Monaten zurückgeben, anstatt des Dokuments, das wörtlich "RRF merging" enthält.
Hybrid-Suchlösung
Die Lösung umfasste das Hinzufügen eines zweiten Sucharms: Volltextsuche mit PostgreSQLs tsvector und einem GIN-Index. Diese Schlüsselwortabgleichung fängt auf, was die Vektorsuche verpasst. Dies erzeugte jedoch zwei Ranglisten, die fusioniert werden mussten.
Reciprocal Rank Fusion (RRF)
Reciprocal Rank Fusion erwies sich als die Lösung zum Zusammenführen der beiden Ranglisten. Die Formel ist einfach: score = 1 / (k + rank), wobei k=60 (der Standardwert). Ergebnisse, die in beiden Listen erscheinen, erhalten beide Scores addiert. Dieser Ansatz erfordert keine Gewichtungsanpassung und keine Score-Normalisierung zwischen Kosinusähnlichkeit und ts_rank – er nutzt nur Rangpositionen.
Abfrageanreicherungstechnik
Vor der Suche leitet das System Abfragen durch den WordPiece-Tokenizer des Embedding-Modells, um Schlüsselbegriffe zu extrahieren (Multi-Subword-Tokens, die wahrscheinlich technische oder domänenspezifische Begriffe sind). Dies generiert bis zu 3 Abfragevarianten, bettet alle ein und sucht parallel. So werden Ergebnisse erfasst, die eine Formulierung verpassen könnte.
Technischer Stack
- PostgreSQL 16 + pgvector (HNSW-Index für Vektoren, GIN-Index für Volltext)
- all-MiniLM-L6-v2 für Embeddings (384 Dimensionen, läuft auf CPU)
- Python mit async psycopg 3
- 3 Aufnahmeadapter: Markdown, Klartext und Claude-Konversations-JSON
Das gesamte System läuft lokal ohne API-Aufrufe für Embeddings und ohne Cloud-Abhängigkeiten. Der Code wurde kürzlich ausgeliefert, und der Entwickler hat einen detaillierten Blogbeitrag über den vollständigen Ansatz verfasst.
📖 Read the full source: r/LocalLLaMA
👀 Siehe auch
Claude Code-Benutzer entwickelt NVM-Plugin zur Erfassung von Problemlösungskontext
Ein Entwickler hat ein Claude-Plugin namens nvm (non-volatile memory) erstellt, das den Claude-Sitzungsverlauf in Markdown-Karten umwandelt, die Problemlösungsentscheidungen und wiederverwendbare Erkenntnisse dokumentieren. Das Tool behebt das Problem, den Überblick darüber zu verlieren, wie Probleme gelöst wurden, wenn man KI-Codierungsassistenten nutzt.
NarrateAI MCP Server Demo zeigt, wie Claude Videos mit Voiceover versieht
Eine Live-Demo zeigt, wie Claude den NarrateAI MCP-Server nutzt, um Videos automatisch von einer URL zu erzählen, asynchrone Abfragen verarbeitet und eine Erzählung durch die Analyse von stummen Bildschirmaufnahmen generiert.
RunAnywhere RCLI: On-Device Voice AI-Pipeline für Apple Silicon
RunAnywhere hat RCLI veröffentlicht, eine Open-Source-Sprach-KI-Pipeline für macOS, die STT, LLM und TTS vollständig auf Apple Silicon Geräten ausführt. Das Tool nutzt ihre proprietäre MetalRT-Inferenz-Engine und verspricht deutliche Leistungsverbesserungen gegenüber bestehenden Lösungen.
TUI Studio: Visuelles Terminal-UI-Design-Tool in der Alpha-Phase
TUI Studio ist ein Figma-ähnlicher visueller Editor zum Gestalten von Terminal-Benutzeroberflächen mit Drag-and-Drop-Komponenten, Echtzeit-ANSI-Vorschau und geplantem Export zu sechs Frameworks, darunter Ink, BubbleTea und Textual. Derzeit in der Alpha-Phase mit nicht funktionierenden Exporten, verfügbar für macOS, Windows und Docker.