Predicción Multi-Token MTP: Generación de Tokens 2x Más Rápida en AMD Strix Halo y Radeon 9700 AI Pro

La Predicción de Múltiples Tokens (MTP) promete una generación de tokens hasta 2 veces más rápida para LLM locales. Un nuevo video demo muestra MTP ejecutándose en hardware AMD Strix Halo y Dual Radeon 9700 AI Pro, orientado a modelos de la clase Qwen 3.6.

Detalles clave

• Rendimiento: MTP acelera la inferencia de LLM hasta 2x, especialmente beneficioso para agentes de código.
• Hardware probado: AMD Strix Halo (probablemente Ryzen AI 300 series) y Dual Radeon 9700 AI Pro (RDNA 4).
• Modelo: Qwen 3.6 (presumiblemente Qwen2.5-7B o similar, variante exacta no especificada).
• Formato del demo: Video de YouTube que cubre cómo funciona MTP y las mejoras medidas.

MTP funciona prediciendo múltiples tokens futuros en paralelo a partir de una sola pasada hacia adelante, reduciendo el número de pasos autorregresivos necesarios. La técnica es especialmente efectiva para salidas estructuradas como código, donde los patrones de tokens son más predecibles.

Para contexto, el stack de cómputo GPU reciente de AMD (ROCm) ha estado alcanzando a NVIDIA CUDA para inferencia de LLM, y las implementaciones de MTP a través de llama.cpp o vLLM podrían cerrar aún más la brecha. Los desarrolladores que ejecutan agentes de código locales (por ejemplo, CodeLlama, DeepSeek-Coder) deberían esperar aceleraciones significativas en hardware compatible.