antirez的DS4：在Mac Metal和DGX上运行具有100万上下文窗口的DeepSeek V4 Flash
Создатель Redis Сальваторе Санфилиппо (antirez) только что выпустил новый проект под названием DS4 на GitHub. Цель: запустить DeepSeek V4 Flash с контекстным окном в 1 млн токенов на оборудовании Apple Silicon (Metal). Он также опубликовал видео его работы на системе NVIDIA DGX.
Что делает DS4
DS4 использует новые методы, чтобы вместить контекстное окно в 1 млн токенов для DeepSeek V4 Flash на Mac Metal (например, чипы серии M). Также было продемонстрировано на DGX, что предполагает возможность работы на высокопроизводительных GPU, таких как Pro 6000, с несколько меньшим контекстным окном, но с более высокой скоростью. Есть предположения о будущей поддержке AMD.
Что включено
- Серверные конечные точки: сервер DS4 уже предоставляет API-интерфейсы, совместимые с OpenAI и Anthropic, что позволяет легко интегрировать его в инструменты агентного кодирования, такие как Cursor, Continue.dev или пользовательские агенты.
- Репозиторий GitHub: https://github.com/antirez/ds4/ — ознакомьтесь с README для получения инструкций по установке, которые, вероятно, включают компиляцию с поддержкой Metal и загрузку весов DeepSeek V4 Flash.
- Видеодемонстрация: несколько часов назад antirez опубликовал видео на X, показывающее его работу на DGX: https://x.com/antirez/status/2053381973226184749
Для кого это
Разработчики с высокопроизводительным оборудованием Mac (например, Mac Studio, MacBook Pro с M1 Max/Ultra или M2/M3) или GPU NVIDIA, которые хотят запустить мощную локальную LLM с очень большим контекстным окном для кодирующих агентов или исследований.
Призыв к действию сообщества
Автор поста на Reddit призывает всех, у кого есть мощное оборудование, ознакомиться с проектом и внести свой вклад — будь то тестирование, сообщение об ошибках или оптимизация для GPU AMD. Проект находится на ранней стадии, поэтому участие сообщества может ускорить обеспечение совместимости.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Инструмент командной строки с открытым исходным кодом sdf использует Claude для управления стекированными пулл-реквестами на GitHub.
sdf — это бесплатный CLI-инструмент с лицензией MIT, который автоматизирует рабочие процессы с накопленными пулл-реквестами с использованием git и gh, а Claude CLI обрабатывает сложные задачи, такие как анализ различий и разрешение конфликтов.
Форматировщик сообщений Slack: Исправление сломанной разметки Markdown от Claude в Slack
Разработчик создал инструмент, который преобразует Markdown, сгенерированный Claude, в правильное форматирование Slack, решая проблемы, когда жирный текст отображается как звёздочки, ссылки появляются в сыром виде, а таблицы ломаются. Инструмент предлагает как предварительный просмотр в браузере с копированием форматированного HTML, так и поддержку API через вебхуки.
Выпуск шаблона Qwen 3.5 Chat с 21 исправлением ошибок для рабочих процессов агентов
Разработчик выпустил исправленный шаблон чата для моделей Qwen 3.5, устранив 21 ошибку, включая сбои при вызове инструментов, разделение параллельных вызовов и стабильность циклов агента. Это прямая замена, протестированная на llama.cpp, Open WebUI, vLLM и других платформах.
Sylve: Управляющая плоскость FreeBSD для виртуализации, контейнеризации и систем хранения данных
Sylve — это управляющая плоскость для FreeBSD с лицензией BSD-2, которая обеспечивает единый контроль над виртуальными машинами Bhyve, контейнерами FreeBSD Jails, хранилищем ZFS и сетевыми настройками. Она использует модель консенсуса RAFT для кластеризации и включает управление общими ресурсами Samba с автоматизацией снимков ZFS.