Previsão Multi-Token MTP: Geração de Tokens 2x Mais Rápida no AMD Strix Halo & Radeon 9700 AI Pro

A Predição Multitoken (MTP) promete até 2x mais rapidez na geração de tokens para LLMs locais. Um novo vídeo de demonstração mostra o MTP rodando em hardware AMD Strix Halo e Dual Radeon 9700 AI Pro, visando modelos da classe Qwen 3.6.

Detalhes Principais

• Desempenho: MTP acelera a inferência de LLMs em até 2x, sendo especialmente benéfico para agentes de codificação.
• Hardware testado: AMD Strix Halo (provavelmente Ryzen AI 300 series) e Dual Radeon 9700 AI Pro (RDNA 4).
• Modelo: Qwen 3.6 (presumivelmente Qwen2.5-7B ou similar, variante exata não especificada).
• Formato da demo: Vídeo do YouTube abordando como o MTP funciona e as melhorias medidas.

O MTP funciona prevendo múltiplos tokens futuros em paralelo a partir de uma única passagem direta, reduzindo o número de etapas autorregressivas necessárias. A técnica é especialmente eficaz para saídas estruturadas, como código, onde os padrões de token são mais previsíveis.

Para contexto, o stack de computação GPU recente da AMD (ROCm) vem alcançando o CUDA da NVIDIA para inferência de LLMs, e implementações de MTP via llama.cpp ou vLLM podem reduzir ainda mais a diferença. Desenvolvedores que executam agentes de codificação locais (ex.: CodeLlama, DeepSeek-Coder) devem esperar ganhos significativos de velocidade no hardware compatível.