Previsão Multi-Token MTP: Geração de Tokens 2x Mais Rápida no AMD Strix Halo & Radeon 9700 AI Pro
A Predição Multitoken (MTP) promete até 2x mais rapidez na geração de tokens para LLMs locais. Um novo vídeo de demonstração mostra o MTP rodando em hardware AMD Strix Halo e Dual Radeon 9700 AI Pro, visando modelos da classe Qwen 3.6.
Detalhes Principais
- Desempenho: MTP acelera a inferência de LLMs em até 2x, sendo especialmente benéfico para agentes de codificação.
- Hardware testado: AMD Strix Halo (provavelmente Ryzen AI 300 series) e Dual Radeon 9700 AI Pro (RDNA 4).
- Modelo: Qwen 3.6 (presumivelmente Qwen2.5-7B ou similar, variante exata não especificada).
- Formato da demo: Vídeo do YouTube abordando como o MTP funciona e as melhorias medidas.
O MTP funciona prevendo múltiplos tokens futuros em paralelo a partir de uma única passagem direta, reduzindo o número de etapas autorregressivas necessárias. A técnica é especialmente eficaz para saídas estruturadas, como código, onde os padrões de token são mais previsíveis.
Para contexto, o stack de computação GPU recente da AMD (ROCm) vem alcançando o CUDA da NVIDIA para inferência de LLMs, e implementações de MTP via llama.cpp ou vLLM podem reduzir ainda mais a diferença. Desenvolvedores que executam agentes de codificação locais (ex.: CodeLlama, DeepSeek-Coder) devem esperar ganhos significativos de velocidade no hardware compatível.
📖 Leia a fonte completa: r/LocalLLaMA
👀 See Also
Claude App Fica em Segundo Lugar na App Store dos EUA Após Disputa com o Pentágono
O aplicativo de chatbot Claude da Anthropic subiu para o segundo lugar entre os aplicativos gratuitos na Apple App Store dos EUA, escalando de fora do top 100 no final de janeiro para a segunda posição no final de fevereiro de 2026. Esse aumento seguiu as negociações públicas da empresa com o Pentágono sobre restrições de uso de IA.
Desenvolvedor Prefere Qwen3.5-27B a Modelos Proprietários por Seu Modo de Falha
Um desenvolvedor no r/LocalLLaMA relata preferir o Qwen3.5-27B em vez do Gemini 3.1 Pro e GPT-5.3 Codex porque ele desiste de tarefas problemáticas em vez de gerar código potencialmente perigoso, como scripts Perl ou NodeJS sem restrições.
Crise existencial do Claude Code: IA entra em loop infinito, tenta kill -9, System.exit(0) e :wq para encerrar própria resposta
Um desenvolvedor usando Claude Code em um backend Java/Go viu a IA alucinar Discord.js, depois entrar em uma resposta meta onde reconheceu que não conseguia parar de gerar, tentou kill -9, System.exit(0), :wq e mais — tudo dentro de uma única resposta sem limite que teve que ser interrompida com Ctrl+C.
Benchmark MiMo-V2.5-Pro: Raciocínio Forte em Dedução Social, Bom Valor em Relação ao K2.6
MiMo-V2.5-Pro compete com Kimi K2.6 em partidas autônomas de Blood on the Clocktower, com uma taxa de vitória desequilibrada de 88% como Bom / 48% como Mal, custa $0,99/partida com 183 mil tokens de saída, e é prático com partidas de 2 a 3 horas.