Testando δ-Mem no Apple Silicon: Implementação MLX e Benchmarks

Um usuário do Reddit implementou o artigo de pesquisa δ-mem (arXiv 2605.12357) para Apple Silicon usando mlx e integração OpenClaw. O artigo melhora a direção da atenção do modelo sem contexto ou LoRA, relatando respostas 20% melhores em seus testes. A implementação usou Qwen3-4B-Instruct via mlx e adaptadores personalizados.

Resultados dos Benchmarks (testes mlx normalizados, Qwen3-4B-Instruct em MacMini 64GB):

• Estilo sintético do artigo: Plain 0,5129, δ-mem 0,5129 (1,00x)
• LoCoMo-10 mini: Plain 0,0500, δ-mem 0,1833 (3,67x)
• Replay OpenClaw: Plain 0,5701, δ-mem 0,6667 (1,17x)

Custos de latência (vs plain):

• Sintético: 1,013x
• LoCoMo-10 mini: 1,33x query / 1,50x total
• Replay OpenClaw: 1,30x

Links importantes:

• Repositório GitHub com adaptador: delta-mem-mlx-sidecar-w-openclaw
• Adaptador MLX no Hugging Face: delta-mem-qwen3-4b-instruct-mlx-adapter

Conclusões:

• As sondas sintéticas ficaram planas (1,00x), mas o LoCoMo-mini mostrou fortes ganhos relativos (3,67x).
• O replay estilo OpenClaw mostrou uma melhoria praticamente significativa (6/8 → 7/8 sondas aprovadas, 1,17x).
• O usuário observa que o Apple Silicon não pode executar CUDA eficientemente, então os resultados são inferiores aos benchmarks do artigo. Os benchmarks do artigo (Qwen3-4B-Instruct) mostraram média de 1,10x vs backbone congelado, MemoryAgentBench 1,31x, LoCoMo 1,20x.
• O usuário está pedindo ajuda (ou financiamento de ~$6k) para treinar um adaptador para modelos maiores, como Qwen3.6:27B.

Para quem é: Desenvolvedores executando agentes LLM locais em Apple Silicon que desejam experimentar a modulação de peso δ-mem para melhorar o desempenho de memória/contexto.