antirez的DS4：在Mac Metal和DGX上运行具有100万上下文窗口的DeepSeek V4 Flash
Создатель Redis Сальваторе Санфилиппо (antirez) только что выпустил новый проект под названием DS4 на GitHub. Цель: запустить DeepSeek V4 Flash с контекстным окном в 1 млн токенов на оборудовании Apple Silicon (Metal). Он также опубликовал видео его работы на системе NVIDIA DGX.
Что делает DS4
DS4 использует новые методы, чтобы вместить контекстное окно в 1 млн токенов для DeepSeek V4 Flash на Mac Metal (например, чипы серии M). Также было продемонстрировано на DGX, что предполагает возможность работы на высокопроизводительных GPU, таких как Pro 6000, с несколько меньшим контекстным окном, но с более высокой скоростью. Есть предположения о будущей поддержке AMD.
Что включено
- Серверные конечные точки: сервер DS4 уже предоставляет API-интерфейсы, совместимые с OpenAI и Anthropic, что позволяет легко интегрировать его в инструменты агентного кодирования, такие как Cursor, Continue.dev или пользовательские агенты.
- Репозиторий GitHub: https://github.com/antirez/ds4/ — ознакомьтесь с README для получения инструкций по установке, которые, вероятно, включают компиляцию с поддержкой Metal и загрузку весов DeepSeek V4 Flash.
- Видеодемонстрация: несколько часов назад antirez опубликовал видео на X, показывающее его работу на DGX: https://x.com/antirez/status/2053381973226184749
Для кого это
Разработчики с высокопроизводительным оборудованием Mac (например, Mac Studio, MacBook Pro с M1 Max/Ultra или M2/M3) или GPU NVIDIA, которые хотят запустить мощную локальную LLM с очень большим контекстным окном для кодирующих агентов или исследований.
Призыв к действию сообщества
Автор поста на Reddit призывает всех, у кого есть мощное оборудование, ознакомиться с проектом и внести свой вклад — будь то тестирование, сообщение об ошибках или оптимизация для GPU AMD. Проект находится на ранней стадии, поэтому участие сообщества может ускорить обеспечение совместимости.
📖 Read the full source: r/LocalLLaMA
👀 Смотрите также
Netflix выпускает VOID: модель удаления объектов и взаимодействий на видео на Hugging Face.
Netflix выпустила VOID — модель видеоинпейнтинга, которая удаляет объекты из видео вместе со всеми физическими взаимодействиями, которые они вызывают, включая падающие предметы и смещённые объекты. Для работы модели требуется видеокарта с 40 ГБ+ видеопамяти, используется квадмаска с двумя чекпоинтами для разных уровней доработки.
Lemonade от AMD: сервер с открытым исходным кодом для локальных LLM на GPU и NPU
Lemonade — это локальный сервер искусственного интеллекта с открытым исходным кодом, который запускает текстовые, графические и речевые модели на GPU и NPU. Он совместим с API OpenAI, поддерживает одновременную работу нескольких моделей и имеет бэкенд на нативном C++ размером всего 2 МБ.
Агент ClawsifyAI обрабатывает задачи электронной почты, исследования и мозгового штурма
Разработчик тестировал ClawsifyAI, AI-агента в стиле когтевого бота, в течение недели и обнаружил, что он справляется с электронной почтой, исследованиями, рутинной работой и мозговыми штурмами. Агент предоставляет чёткую обратную связь, практические решения и иногда предлагает идеи лучше, чем изначально планировалось.
Разработка на основе руководств: Метод предотвращения уверенного отклонения кода Claude.
Ручная разработка (MDD) — это метод, который решает проблему уверенного расхождения в Claude Code, когда ИИ создаёт неправильный код, который проходит его собственные тесты. В производственном аудите MDD обнаружил 190 проблем, написал 876 новых тестов менее чем за 8 часов и устранил нарушения правил.