Predicción Multi-Token MTP: Generación de Tokens 2x Más Rápida en AMD Strix Halo y Radeon 9700 AI Pro
La Predicción de Múltiples Tokens (MTP) promete una generación de tokens hasta 2 veces más rápida para LLM locales. Un nuevo video demo muestra MTP ejecutándose en hardware AMD Strix Halo y Dual Radeon 9700 AI Pro, orientado a modelos de la clase Qwen 3.6.
Detalles clave
- Rendimiento: MTP acelera la inferencia de LLM hasta 2x, especialmente beneficioso para agentes de código.
- Hardware probado: AMD Strix Halo (probablemente Ryzen AI 300 series) y Dual Radeon 9700 AI Pro (RDNA 4).
- Modelo: Qwen 3.6 (presumiblemente Qwen2.5-7B o similar, variante exacta no especificada).
- Formato del demo: Video de YouTube que cubre cómo funciona MTP y las mejoras medidas.
MTP funciona prediciendo múltiples tokens futuros en paralelo a partir de una sola pasada hacia adelante, reduciendo el número de pasos autorregresivos necesarios. La técnica es especialmente efectiva para salidas estructuradas como código, donde los patrones de tokens son más predecibles.
Para contexto, el stack de cómputo GPU reciente de AMD (ROCm) ha estado alcanzando a NVIDIA CUDA para inferencia de LLM, y las implementaciones de MTP a través de llama.cpp o vLLM podrían cerrar aún más la brecha. Los desarrolladores que ejecutan agentes de código locales (por ejemplo, CodeLlama, DeepSeek-Coder) deberían esperar aceleraciones significativas en hardware compatible.
📖 Leer la fuente completa: r/LocalLLaMA
👀 Ver también
Centro de datos de IA de Georgia drenó 29 millones de galones de agua sin medir
El campus de QTS en Fayetteville utilizó 29 millones de galones a través de dos conexiones de agua no autorizadas durante 15 meses, lo que provocó quejas por baja presión. El condado renunció a las multas y cobró $147,000 de forma retroactiva.
NHS Inglaterra retrocede del código abierto: carta abierta insta a revertir la política SDLC-8
Una carta abierta con 74 firmas pide a NHS England que retire SDLC-8, una política que oculta todo el código fuente del NHS, y que reafirme el Principio 12 del Estándar de Servicio del NHS: 'Hacer que el nuevo código fuente sea abierto'.
Comparación Actual de Costos de LLM: Deepseek, Qwen, MiniMax vs OpenAI
Un análisis de Reddit muestra que Deepseek-V3.2 a $0.26/$0.38 por millón de tokens es aproximadamente 10 veces más económico que GPT-4, mientras ofrece un rendimiento de clase GPT-5 en los puntos de referencia, con Qwen3.5 y MiniMax-M2.5 como alternativas competitivas a Claude y OpenAI.
Mistral advierte que Europa tiene una ventana de dos años para evitar la dependencia de infraestructura de IA de EE.UU.
El CEO de Mistral, Arthur Mensch, advierte que Europa tiene 2 años para construir su propia infraestructura de IA—chips, energía, computación—o arriesgarse a convertirse en un 'estado vasallo' permanente de los gigantes tecnológicos estadounidenses.