antirezs DS4: Ausführen von DeepSeek V4 Flash mit 1M Kontext auf Mac Metal und DGX

Redis-Erfinder Salvatore Sanfilippo (antirez) hat gerade ein neues Projekt namens DS4 auf GitHub veröffentlicht. Ziel: DeepSeek V4 Flash mit einem 1M-Token-Kontextfenster auf Apple Silicon (Metal) Hardware zum Laufen zu bringen. Er hat auch ein Video gepostet, das es auf einem NVIDIA DGX-System zeigt.

Was DS4 macht

DS4 nutzt neuartige Techniken, um ein 1M-Kontextfenster für DeepSeek V4 Flash auf Mac Metal Hardware (z.B. M-Serie-Chips) unterzubringen. Es wurde auch auf einer DGX demonstriert, was darauf hindeutet, dass es auf High-End-GPUs wie der Pro 6000 mit etwas kleineren Kontextfenstern und höherer Geschwindigkeit funktionieren könnte. Es gibt Spekulationen über zukünftige AMD-Unterstützung.

Enthaltene Komponenten

• Server-Endpunkte: Der DS4-Server bietet bereits OpenAI- und Anthropic-kompatible API-Endpunkte, was die Integration in agentische Codierungstools wie Cursor, Continue.dev oder benutzerdefinierte Agenten erleichtert.
• GitHub-Repo: https://github.com/antirez/ds4/ — siehe README für Einrichtungsanweisungen, die wahrscheinlich das Kompilieren mit Metal-Unterstützung und das Herunterladen der DeepSeek V4 Flash-Gewichte beinhalten.
• Video-Demo: Vor ein paar Stunden hat antirez ein Video auf X gepostet, das die Ausführung auf einer DGX zeigt: https://x.com/antirez/status/2053381973226184749

Für wen es gedacht ist

Entwickler mit High-End-Mac-Hardware (z.B. Mac Studio, MacBook Pro mit M1 Max/Ultra oder M2/M3) oder NVIDIA-GPUs, die ein leistungsstarkes lokales LLM mit einem sehr großen Kontextfenster für Codierungsagenten oder Forschung ausführen möchten.

Aufruf an die Community

Der Reddit-Poster ermutigt alle mit leistungsstarker Hardware, sich das Projekt anzusehen und beizutragen – sei es durch Testen, Melden von Fehlern oder Optimieren für AMD-GPUs. Das Projekt befindet sich in einem frühen Stadium, daher könnte das Engagement der Community die Kompatibilität beschleunigen.