Prédiction multi-token MTP : génération de tokens 2x plus rapide sur AMD Strix Halo & Radeon 9700 AI Pro

La prédiction multi-token (MTP) promet une génération de tokens jusqu'à 2x plus rapide pour les LLM locaux. Une nouvelle vidéo de démonstration montre MTP fonctionnant sur les matériels AMD Strix Halo et Dual Radeon 9700 AI Pro, ciblant des modèles de classe Qwen 3.6.

Détails clés

• Performance : MTP accélère l'inférence des LLM jusqu'à 2x, particulièrement bénéfique pour les agents de codage.
• Matériel testé : AMD Strix Halo (probablement Ryzen AI série 300) et Dual Radeon 9700 AI Pro (RDNA 4).
• Modèle : Qwen 3.6 (probablement Qwen2.5-7B ou similaire, variante exacte non spécifiée).
• Format de démo : Vidéo YouTube expliquant le fonctionnement de MTP et les améliorations mesurées.

MTP fonctionne en prédisant plusieurs tokens futurs en parallèle à partir d'un seul passage avant, réduisant le nombre d'étapes autorégressives nécessaires. La technique est particulièrement efficace pour les sorties structurées comme le code, où les motifs de tokens sont plus prévisibles.

Pour contexte, la pile de calcul GPU récente d'AMD (ROCm) rattrape NVIDIA CUDA pour l'inférence LLM, et les implémentations de MTP via llama.cpp ou vLLM pourraient réduire davantage l'écart. Les développeurs utilisant des agents de codage locaux (par exemple, CodeLlama, DeepSeek-Coder) devraient s'attendre à des accélérations significatives sur le matériel pris en charge.