Apple Silicon에서의 δ-Mem 테스트: MLX 구현 및 벤치마크

한 Reddit 사용자가 δ-mem 연구 논문(arXiv 2605.12357)을 mlx와 OpenClaw 통합을 통해 Apple Silicon용으로 구현했습니다. 이 논문은 컨텍스트나 LoRA 없이 모델의 주의 방향을 개선하며, 테스트에서 20% 더 나은 답변을 보고했습니다. 구현은 mlx와 사용자 정의 어댑터를 통해 Qwen3-4B-Instruct를 사용했습니다.

벤치마크 결과 (정규화된 mlx 테스트, MacMini 64GB에서 Qwen3-4B-Instruct):

• 합성 논문 스타일: Plain 0.5129, δ-mem 0.5129 (1.00x)
• LoCoMo-10 미니: Plain 0.0500, δ-mem 0.1833 (3.67x)
• OpenClaw 재연: Plain 0.5701, δ-mem 0.6667 (1.17x)

지연 시간 비용 (일반 대비):

• 합성: 1.013x
• LoCoMo-10 미니: 쿼리 1.33x / 전체 1.50x
• OpenClaw 재연: 1.30x

주요 링크:

• 어댑터가 포함된 GitHub 저장소: delta-mem-mlx-sidecar-w-openclaw
• Hugging Face의 MLX 어댑터: delta-mem-qwen3-4b-instruct-mlx-adapter

결론:

• 합성 프로브는 평평했지만(1.00x), LoCoMo-미니는 강력한 상대적 개선(3.67x)을 보였습니다.
• OpenClaw 스타일 재연은 실질적인 개선(6/8 → 7/8 프로브 통과, 1.17x)을 보였습니다.
• 사용자는 Apple Silicon이 CUDA를 효율적으로 실행할 수 없어 결과가 논문 벤치마크보다 낮다고 언급했습니다. 논문 벤치마크(Qwen3-4B-Instruct)는 고정 백본 대비 평균 1.10x, MemoryAgentBench 1.31x, LoCoMo 1.20x를 보였습니다.
• 사용자는 Qwen3.6:27B와 같은 더 큰 모델용 어댑터를 훈련하기 위해 도움(또는 약 6천 달러 자금)을 구하고 있습니다.

대상: Apple Silicon에서 로컬 LLM 에이전트를 실행하며 δ-mem 가중치 변조를 통해 메모리/컨텍스트 성능을 개선하려는 개발자.