Signet: Open-Source Memory Layer für KI-Codierungsagenten erreicht 80 % F1 bei LoCoMo

Signet ist ein Open-Source-Gedächtnissystem, das für KI-Coding-Agenten wie Claude Code, OpenCode, OpenClaw und Codex entwickelt wurde. Es behandelt das Gedächtnismanagement, indem es die Gedächtnisextraktion vom Konversationsfluss des Agenten trennt.

Leistung und Ansatz

Das System erreichte kürzlich 80 % F1 auf dem LoCoMo-Benchmark, der das Langzeit-Konversationsgedächtnis bewertet. Zum Vergleich: Standard-RAG erzielt etwa 41 % auf diesem Benchmark, GPT-4 mit vollem Kontext 32 %, und die menschliche Obergrenze liegt bei 87,9 %.

Im Gegensatz zu Ansätzen, die Agenten ein "Erinnerungs"-Tool geben, kehrt Signet die Architektur um:

• Erinnerungen werden nach jeder Sitzung durch eine separate LLM-Pipeline extrahiert – keine Tool-Aufrufe während der Konversation
• Relevanter Kontext wird vor jedem Prompt injiziert – der Agent sucht nicht nach dem, was er braucht, er hat es einfach

Der Ansatz ist analog zum menschlichen Gedächtnis, bei dem Informationen automatisch auftauchen, anstatt explizite Abfragen zu erfordern.

Technische Implementierung

Alles läuft lokal mit SQLite auf Ihrem Rechner ohne Cloud-Abhängigkeiten und funktioniert offline. Derselbe Agentenspeicher bleibt über verschiedene Codierungstools hinweg bestehen. Die Einrichtung erfordert einen Installationsbefehl und dauert einige Minuten. Das Projekt ist unter der Apache-2.0-Lizenz lizenziert.

Zukünftige Entwicklung

Das Team arbeitet an einem benutzerspezifischen prädiktiven Gedächtnismodell, das Ihre Muster lernt und vorhersagt, welchen Kontext Sie benötigen, bevor Sie fragen. Dieses Modell wird lokal trainiert, wobei die Gewichte auf Ihrem Rechner bleiben.