DeepSeek-V4 Pro y Flash: 1.6 billones de parámetros, contexto de 1 millón de tokens, atención híbrida
DeepSeek AI ha lanzado una vista previa de la serie DeepSeek-V4 en Hugging Face. La línea incluye dos modelos de lenguaje de mezcla de expertos (MoE):
- DeepSeek-V4-Pro: 1,6 billones de parámetros totales, 49 mil millones activados por token
- DeepSeek-V4-Flash: 284 mil millones de parámetros totales, 13 mil millones activados por token
Ambos modelos admiten una longitud de contexto de un millón de tokens.
Mejoras arquitectónicas
La serie V4 introduce un mecanismo de atención híbrido que combina:
- Atención dispersa comprimida (CSA)
- Atención altamente comprimida (HCA)
Con una longitud de contexto de 1M de tokens, DeepSeek-V4-Pro requiere solo el 27% de los FLOPs de inferencia de un solo token y el 10% de la caché KV en comparación con DeepSeek-V3.2.
Además, los modelos incorporan Hiperconexiones restringidas por variedad (mHC) para fortalecer las conexiones residuales, mejorando la estabilidad del entrenamiento.
Detalles del modelo
- Repositorio:
deepseek-ai/DeepSeek-V4-Proen Hugging Face - Etiqueta de pipeline:
text-generation - Clase de modelo automático:
AutoModelForCausalLM - Licencia: MIT
- Pesos: safetensors fragmentados, incluidos formatos BF16, F32, F8_E8M0, F8_E4M3 e INT8
- Recuento total de parámetros de safetensors: ~862 mil millones de parámetros (probablemente total entre todos los expertos)
Evaluaciones comparativas y eficiencia
El informe técnico (aún no completamente público) menciona que la atención híbrida mejora drásticamente la eficiencia en contextos largos. En la configuración de 1M de tokens, el modelo logra una reducción del 73% en FLOPs y del 90% en caché KV en comparación con V3.2.
Para desarrolladores que ejecutan aplicaciones de contexto largo (por ejemplo, análisis de documentos, comprensión de bases de código, agentes de múltiples turnos), esto convierte a DeepSeek-V4 en una opción atractiva para superar los límites de longitud de contexto sin costos computacionales proporcionales.
Para quién es
Este lanzamiento está dirigido a desarrolladores que construyen agentes de IA que necesitan procesar documentos muy largos, grandes bases de código o conversaciones de múltiples turnos con retención completa del contexto.
📖 Lea la fuente completa: HN AI Agents
👀 Ver también
Título del artículo: Código Abierto vs Modelos Frontera: Benchmark de Escena de Coche en Lienzo de Archivo Único
Un desarrollador probó 12 modelos, incluidos GPT-5.5, Claude Opus 4.7 y Qwen 3.6 Plus, en una tarea de animación de un coche conduciendo en un lienzo HTML de un solo archivo, con resultados comparados públicamente.
La paradoja de construir vs. comprar en la era de los agentes de IA
Desarrolladores que ganan $100/hora pasan rutinariamente más de 10 horas construyendo con Claude y n8n para evitar pagar $30–50/mes por un producto funcional, ignorando el costo de oportunidad de $1,000+.
El problema de descubrimiento de la IA: los usuarios no pueden ver lo que la herramienta puede hacer
Una indicación en blanco oculta las capacidades de la IA. Los usuarios no saben qué preguntar. Las plantillas y el contexto ayudan, pero el sistema mismo debe revelar las posibilidades.
El desarrollador prefiere Qwen3.5-27B sobre los modelos propietarios por su modo de fallo
Un desarrollador en r/LocalLLaMA informa que prefiere Qwen3.5-27B sobre Gemini 3.1 Pro y GPT-5.3 Codex porque se rinde en tareas problemáticas en lugar de generar código potencialmente peligroso, como scripts de Perl o NodeJS sin restricciones.