DeepSeek V4 Flash ofrece calidad casi Opus para LLMs locales en instalaciones propias

Un desarrollador en r/openclaw informa que DeepSeek 4 Flash está logrando un rendimiento casi al nivel de Opus para casos de uso de LLM locales, específicamente para agentes de IA on-premise que manejan datos confidenciales de clientes. El usuario afirma que hasta ahora había estado extremadamente decepcionado con todos los modelos excepto Opus.

Detalles clave

• Caso de uso: LLM locales on-premise + agentes de IA para clientes que se niegan a usar servicios en la nube como AWS debido a preocupaciones de confidencialidad de datos.
• Rendimiento del modelo: DeepSeek 4 Flash se describe como "casi nivel Opus", lo que significa que es la primera opción viable fuera de Claude Opus para esta carga de trabajo específica.
• Hardware: El usuario está invirtiendo en una computadora de $25,000 (probablemente una estación de trabajo multi-GPU) para ejecutar el modelo localmente. Señala que incluso con GPUs NVIDIA, procesar 1M de tokens puede ser frustrantemente lento.
• Comparación: Expresa escepticismo sobre los usuarios de Qwen 35B, afirmando que ni siquiera puede igualar a Sonnet para el trabajo, y cuestiona si los usuarios de Mac realmente están ejecutando LLMs locales o solo lo afirman, citando una lentitud insoportable en hardware de Apple.
• Atribución: El usuario reconoce que el modelo proviene de China (DeepSeek es un laboratorio de IA chino) y se pregunta qué obtienen ellos a cambio, pero agradece el LLM gratuito y ejecutable localmente.

Para quién es

Desarrolladores que crean sistemas de agentes de IA on-premise para clientes empresariales con requisitos de seguridad que necesitan implementaciones aisladas o privadas.