DeepSeek V4 Flash обеспечивает качество, близкое к Opus, для локальных LLM на локальных серверах

Разработчик на r/openclaw сообщает, что DeepSeek 4 Flash достигает производительности, близкой к уровню Opus, для локальных LLM, в частности для ИИ-агентов, обрабатывающих конфиденциальные данные клиентов на месте. Пользователь заявляет, что до этого момента был крайне разочарован всеми моделями, кроме Opus.

Ключевые детали

• Сценарий использования: Локальные LLM + ИИ-агенты для клиентов, которые отказываются от облачных сервисов, таких как AWS, из-за проблем с конфиденциальностью данных.
• Производительность модели: DeepSeek 4 Flash описывается как «почти уровня Opus», что означает, что это первый viable вариант за пределами Claude Opus для данной конкретной задачи.
• Оборудование: Пользователь вкладывается в компьютер за $25 000 (вероятно, многопроцессорная рабочая станция) для локального запуска модели. Он отмечает, что даже с GPU NVIDIA обработка 1 млн токенов может быть удручающе медленной.
• Сравнение: Он выражает скептицизм по поводу пользователей Qwen 35B, утверждая, что эта модель не может сравниться даже с Sonnet, и сомневается, действительно ли пользователи Mac запускают локальные LLM или только утверждают это, ссылаясь на невыносимую медлительность на оборудовании Apple.
• Авторство: Пользователь признает, что модель родом из Китая (DeepSeek — китайская ИИ-лаборатория), и задается вопросом, что они с этого получают, но благодарен за бесплатную LLM, которую можно запускать локально.

Для кого это

Разработчики, создающие локальные ИИ-агенты для корпоративных клиентов с высокими требованиями к безопасности, которым необходимы изолированные или частные развертывания.