Predicción Multi-Token MTP: Generación de Tokens 2x Más Rápida en AMD Strix Halo y Radeon 9700 AI Pro
La Predicción de Múltiples Tokens (MTP) promete una generación de tokens hasta 2 veces más rápida para LLM locales. Un nuevo video demo muestra MTP ejecutándose en hardware AMD Strix Halo y Dual Radeon 9700 AI Pro, orientado a modelos de la clase Qwen 3.6.
Detalles clave
- Rendimiento: MTP acelera la inferencia de LLM hasta 2x, especialmente beneficioso para agentes de código.
- Hardware probado: AMD Strix Halo (probablemente Ryzen AI 300 series) y Dual Radeon 9700 AI Pro (RDNA 4).
- Modelo: Qwen 3.6 (presumiblemente Qwen2.5-7B o similar, variante exacta no especificada).
- Formato del demo: Video de YouTube que cubre cómo funciona MTP y las mejoras medidas.
MTP funciona prediciendo múltiples tokens futuros en paralelo a partir de una sola pasada hacia adelante, reduciendo el número de pasos autorregresivos necesarios. La técnica es especialmente efectiva para salidas estructuradas como código, donde los patrones de tokens son más predecibles.
Para contexto, el stack de cómputo GPU reciente de AMD (ROCm) ha estado alcanzando a NVIDIA CUDA para inferencia de LLM, y las implementaciones de MTP a través de llama.cpp o vLLM podrían cerrar aún más la brecha. Los desarrolladores que ejecutan agentes de código locales (por ejemplo, CodeLlama, DeepSeek-Coder) deberían esperar aceleraciones significativas en hardware compatible.
📖 Leer la fuente completa: r/LocalLLaMA
👀 Ver también
Sistema del Agente OpenClaw Roto Después de Actualizaciones Recientes
Las actualizaciones recientes de OpenClaw han roto la funcionalidad central de los agentes, con usuarios reportando que los agentes no se pueden crear o ejecutar de manera confiable. El sistema anteriormente permitía crear agentes, que aparecían correctamente, ejecutar flujos de trabajo y usarlos para tareas reales.
Reimplementación de IA de la Biblioteca chardet Plantea Cuestiones de Licencias Copyleft
Dan Blanchard utilizó Claude de Anthropic para reimplementar desde cero la biblioteca Python chardet, cambiando la licencia de LGPL a MIT. El código resultante muestra menos del 1.3% de similitud con versiones anteriores, generando debate sobre si la reimplementación asistida por IA erosiona las protecciones copyleft.
Anthropic elimina el pensamiento extendido fijo e impone el pensamiento adaptativo en los modelos Claude
Anthropic está eliminando gradualmente el pensamiento extendido manual (presupuesto fijo) en Opus 4.6 y Sonnet 4.6, y retirándolo por completo en Opus 4.7 (devuelve error 400). El pensamiento adaptativo se aplicará por defecto, lo que ha generado críticas en la comunidad por considerarse una medida de reducción de costos.
Datos de uso de la suscripción de Claude Max de $100 para la tarea de extensión de API
Un usuario con una suscripción Claude Max de $100 informa haber consumido el 13% de una sesión de 5 horas para extender una API existente con funcionalidad de bibliotecas favoritas, con un uso de contexto del 11% y un uso semanal que aumentó del 5% al 6%.