Test de δ-Mem sur Apple Silicon : Implémentation MLX et Benchmarks

Un utilisateur de Reddit a implémenté l'article de recherche δ-mem (arXiv 2605.12357) pour Apple Silicon en utilisant mlx et l'intégration OpenClaw. L'article améliore la direction de l'attention du modèle sans contexte ni LoRA, rapportant 20 % de meilleures réponses dans leurs tests. L'implémentation a utilisé Qwen3-4B-Instruct via mlx et des adaptateurs personnalisés.

Résultats des benchmarks (tests mlx normalisés, Qwen3-4B-Instruct sur MacMini 64 Go) :

• Synthétique style article : Plain 0,5129, δ-mem 0,5129 (1,00x)
• LoCoMo-10 mini : Plain 0,0500, δ-mem 0,1833 (3,67x)
• Replay OpenClaw : Plain 0,5701, δ-mem 0,6667 (1,17x)

Coûts en latence (vs plain) :

• Synthétique : 1,013x
• LoCoMo-10 mini : 1,33x requête / 1,50x total
• Replay OpenClaw : 1,30x

Liens clés :

• Dépôt GitHub avec adaptateur : delta-mem-mlx-sidecar-w-openclaw
• Adaptateur MLX sur Hugging Face : delta-mem-qwen3-4b-instruct-mlx-adapter

Points clés :

• Les sondes synthétiques étaient plates (1,00x), mais LoCoMo-mini a montré de forts gains relatifs (3,67x).
• Le replay de style OpenClaw a montré une amélioration pratiquement significative (6/8 → 7/8 sondes réussies, 1,17x).
• L'utilisateur note qu'Apple Silicon ne peut pas exécuter CUDA efficacement, donc les résultats sont inférieurs aux benchmarks de l'article. Les benchmarks de l'article (Qwen3-4B-Instruct) montraient une moyenne de 1,10x vs modèle figé, MemoryAgentBench 1,31x, LoCoMo 1,20x.
• L'utilisateur cherche de l'aide (ou un financement d'environ 6 000 $) pour entraîner un adaptateur pour des modèles plus grands comme Qwen3.6:27B.

À qui cela s'adresse : Développeurs exécutant des agents LLM locaux sur Apple Silicon qui souhaitent expérimenter la modulation de poids δ-mem pour améliorer les performances mémoire/contexte.