RTX 5080 16GB: Qwen3.6 35B MoE con contexto de 128k — 56 tok/s, y por qué MTP no ayuda
El commit b9190 de llama.cpp mainline fusionó MTP (Predicción Multi-Token). Los benchmarks en una RTX 5080 16GB con Qwen3.6 35B MoE en contexto de 128k revelan un hallazgo claro: MTP perjudica el rendimiento cuando el modelo no cabe completamente en la GPU.
La Mejor Configuración (Sin MTP)
Qwen3.6-35B-A3B Q4_K_XL --fit-target 1536 en contexto de 131k produce:
- 56 tok/s de generación
- 1.584 tok/s de procesamiento de prompt en contexto de 128k
No se necesitan banderas de MTP.
Por Qué MTP Ralentiza 35B MoE en 16GB
Tres configuraciones probadas con longitudes de contexto de agente de codificación:
- 27B IQ3+MTP: 12,45 GB, completamente en GPU — promedio 73 tok/s (MTP ayuda)
- 35B Q4_K_XL+MTP: ~22 GB, descarga parcial — promedio 74 tok/s (MTP perjudica)
- 35B Q8_0+MTP: ~36 GB, descarga pesada — promedio 46 tok/s
Sin MTP, el 35B Q4_K_XL alcanza 97 tok/s con --fit-target 0 (15.815 MiB VRAM) y 86 tok/s con --fit-target 1536 (14.269 MiB). Con MTP habilitado en --fit-target 1536, la velocidad baja a 74 tok/s (14.623 MiB) — una desaceleración del 23%.
La causa raíz: el búfer de cómputo de MTP reserva ~1,5 GB (--fit-target 1536), empujando ~3 capas expertas de MoE más de la GPU a la CPU. Dado que la inferencia de MoE está limitada por las capas expertas en CPU, la tasa de aceptación de tokens del 79% de MTP no puede compensar la velocidad más lenta por paso.
Para el modelo de 27B (cabe completamente en GPU), --fit-target 0 funciona con o sin MTP, por lo que no hay penalización de VRAM — MTP aumenta la velocidad de ~56 a 73 tok/s.
Regla General
MTP ayuda cuando tu modelo cabe en la GPU. Perjudica cuando el búfer de cómputo de MTP obliga a más capas a la CPU. En tarjetas de 16GB con 35B MoE, omite MTP.
Sistema de prueba completo: RTX 5080 16GB, Ryzen 9 9950X, 128GB RAM, llama.cpp b9204 (mainline). Banderas comunes de MTP: -np 1 --fit on -fa on -t 20 --no-mmap --jinja -ctk q8_0 -ctv q8_0 --spec-type draft-mtp --spec-draft-n-max 2.
📖 Leer la fuente completa: r/LocalLLaMA
👀 Ver también
Illinois aprueba SB 315: Auditorías de terceros requeridas para laboratorios de IA de frontera
Illinois aprueba SB 315 que exige que los laboratorios de IA fronteriza como OpenAI, Anthropic y Google DeepMind auditén sus prácticas de seguridad por terceros independientes. Si se firma, se convierte en la ley estatal de seguridad de IA más fuerte de EE.UU.
El Operador de IA: Un Nuevo Rol para Flujos de Trabajo Agénticos
Rish Gupta argumenta que los operadores de IA serán el rol clave en las organizaciones dentro de un año, combinando habilidades técnicas (Python, APIs de LLM, frameworks de agentes) con comprensión de procesos de negocio para automatizar tareas repetitivas y de alto impacto.
Encíclica del Papa León XIV sobre la IA: Puntos Clave para Desarrolladores
El Vaticano publicó una encíclica sobre ética en inteligencia artificial. El documento destaca problemas de interpretabilidad de los LLM, sesgos culturales en los datos de entrenamiento y el costo ambiental de la IA.
Cuando Todos Tienen IA pero la Empresa Aún No Aprende Nada: El Desordenado Camino Medio de la Adopción de IA Empresarial
El marco de trabajo de Ethan Mollick muestra que los aumentos de productividad individual con IA no se convierten automáticamente en aprendizaje organizacional. El artículo explora por qué las empresas están atrapadas en un 'punto medio desordenado' donde el uso de la IA es desigual, oculto y desconectado del conocimiento compartido.