Testen von δ-Mem auf Apple Silicon: MLX-Implementierung und Benchmarks

Ein Reddit-Nutzer hat das δ-mem-Forschungspapier (arXiv 2605.12357) für Apple Silicon mit mlx und OpenClaw-Integration implementiert. Das Papier verbessert die Aufmerksamkeitsrichtung des Modells ohne Kontext oder LoRA und berichtet von 20% besseren Antworten in ihren Tests. Die Implementierung verwendete Qwen3-4B-Instruct über mlx und benutzerdefinierte Adapter.

Benchmark-Ergebnisse (normalisierte mlx-Tests, Qwen3-4B-Instruct auf MacMini 64GB):

• Synthetisch (Paper-Stil): Ohne 0,5129, δ-mem 0,5129 (1,00x)
• LoCoMo-10 mini: Ohne 0,0500, δ-mem 0,1833 (3,67x)
• OpenClaw-Replay: Ohne 0,5701, δ-mem 0,6667 (1,17x)

Latenzkosten (vs. ohne):

• Synthetisch: 1,013x
• LoCoMo-10 mini: 1,33x Abfrage / 1,50x gesamt
• OpenClaw-Replay: 1,30x

Wichtige Links:

• GitHub-Repo mit Adapter: delta-mem-mlx-sidecar-w-openclaw
• MLX-Adapter auf Hugging Face: delta-mem-qwen3-4b-instruct-mlx-adapter

Erkenntnisse:

• Synthetische Sonden waren flach (1,00x), aber LoCoMo-mini zeigte starke relative Verbesserungen (3,67x).
• OpenClaw-ähnliches Replay zeigte eine praktisch bedeutsame Verbesserung (6/8 → 7/8 Sonden bestanden, 1,17x).
• Der Nutzer merkt an, dass Apple Silicon CUDA nicht effizient ausführen kann, daher sind die Ergebnisse niedriger als die Paper-Benchmarks. Die Paper-Benchmarks (Qwen3-4B-Instruct) zeigten durchschnittlich 1,10x vs. eingefrorenem Backbone, MemoryAgentBench 1,31x, LoCoMo 1,20x.
• Der Nutzer sucht Hilfe (oder Finanzierung ~6.000 $), um einen Adapter für größere Modelle wie Qwen3.6:27B zu trainieren.

Für wen es ist: Entwickler, die lokale LLM-Agenten auf Apple Silicon ausführen und mit δ-mem-Gewichtsmodulation experimentieren möchten, um die Gedächtnis-/Kontextleistung zu verbessern.