antirez's DS4 : Exécuter DeepSeek V4 Flash avec 1M de contexte sur Mac Metal et DGX
Salvatore Sanfilippo, le créateur de Redis (antirez), vient de publier un nouveau projet appelé DS4 sur GitHub. L'objectif : faire fonctionner DeepSeek V4 Flash avec une fenêtre de contexte de 1 million de tokens sur du matériel Apple Silicon (Metal). Il a également posté une vidéo le montrant en action sur un système NVIDIA DGX.
Ce que fait DS4
DS4 utilise des techniques novatrices pour adapter une fenêtre de contexte de 1M pour DeepSeek V4 Flash sur du matériel Mac Metal (par exemple, les puces de la série M). Il a également été démontré sur un DGX, ce qui suggère qu'il pourrait fonctionner sur des GPU haut de gamme comme le Pro 6000 avec des fenêtres de contexte légèrement plus petites à vitesse plus élevée. On évoque un éventuel support futur pour AMD.
Ce qui est inclus
- Points de terminaison serveur : Le serveur DS4 fournit déjà des API compatibles avec OpenAI et Anthropic, facilitant l'intégration dans des outils d'agents de codage comme Cursor, Continue.dev ou des agents personnalisés.
- Dépôt GitHub : https://github.com/antirez/ds4/ — consultez le README pour les instructions d'installation, qui impliquent probablement une compilation avec le support Metal et le téléchargement des poids de DeepSeek V4 Flash.
- Vidéo de démonstration : Il y a quelques heures, antirez a posté une vidéo sur X montrant le projet en action sur un DGX : https://x.com/antirez/status/2053381973226184749
À qui cela s'adresse
Développeurs disposant d'un Mac haut de gamme (par exemple, Mac Studio, MacBook Pro avec M1 Max/Ultra ou M2/M3) ou de GPU NVIDIA souhaitant exécuter un LLM local puissant avec une très grande fenêtre de contexte pour des agents de codage ou de la recherche.
Appel à la communauté
L'auteur du post Reddit encourage toute personne disposant de matériel puissant à consulter le projet et à contribuer — que ce soit en testant, en signalant des bogues ou en optimisant pour les GPU AMD. Le projet en est à ses débuts, donc l'implication de la communauté pourrait accélérer la compatibilité.
📖 Lire la source complète : r/LocalLLaMA
👀 See Also
Stackdome : Alternative open source auto-hébergeable à Railway sur Kubernetes
Stackdome est une plateforme open source, auto-hébergeable, qui regroupe les outils CNCF dans une expérience de développement orientée Railway sur Kubernetes. Elle propose une interface canvas, la prise en charge multi-clusters, Postgres managé et des builds source-vers-image.
Modèles.dev : Base de données open source des spécifications, prix et capacités des modèles d'IA
Models.dev est une base de données open-source et communautaire de spécifications, tarifs et capacités de modèles d'IA. Elle propose une API et des définitions basées sur TOML pour les fournisseurs et les modèles.
Titre HN SOTA : Suivi de la popularité des modèles de codage via les commentaires de Hacker News
HN SOTA est un pipeline mis à jour quotidiennement qui extrait les commentaires de Hacker News, utilise Gemini pour identifier les modèles de codage de la liste OpenRouter, et enregistre le sentiment par mention dans une feuille Google publique. Les 10 meilleurs modèles par mentions sur une fenêtre glissante de 10 jours sont affichés.
OmniRecall Beta : Injection de mémoire propulsée par FAISS pour les discussions LLM en cloud
OmniRecall est un contournement local de mitmproxy qui intercepte le trafic vers les interfaces de chat cloud comme DeepSeek, en ajoutant une couche de mémoire permanente grâce à l'indexation FAISS et au modèle sentence-transformers MiniLM-L6. Il est actuellement en version bêta, nécessite une utilisation sur CPU uniquement, et utilise une licence source-disponible très restrictive.