Lightning MLX: Motor de AI local rápido para uso agente en Apple Silicon ofrece 220 tok/s en Qwen 35B-A3B
Un nuevo motor de inferencia de código abierto para Apple Silicon llamado Lightning MLX afirma ser el motor de IA local más rápido, específicamente optimizado para flujos de trabajo agénticos — agentes de código, llamadas a herramientas y tareas de respuesta corta. El proyecto está disponible en GitHub en samuelfaj/lightning-mlx.
Resultados de Benchmark
El autor probó en un MacBook Max M5 con 128 GB de RAM e informó las siguientes velocidades de generación de tokens:
- Qwen3.6-27B: 40.67 tok/s
- Qwen3.6-35B-A3B: 220.86 tok/s
Estos resultados sugieren que el motor es particularmente eficiente para la arquitectura de mezcla de expertos utilizada en el modelo Qwen3.6-35B-A3B, que activa solo un subconjunto de parámetros por token.
Características Clave
- Optimizado para casos de uso agénticos de respuesta corta — generación de código, llamadas a herramientas y bucles de inferencia rápida
- Incluye una configuración preestablecida llamada MTPLX (valores predeterminados de muestreo personalizados); el autor busca comentarios sobre si estos valores predeterminados tienen sentido para uso en producción
- Código abierto bajo la licencia MIT (probablemente) en GitHub
Solicitudes de Comentarios
El creador está pidiendo activamente a la comunidad:
- Mejores diseños de benchmark para agentes de código locales
- Opiniones sobre los valores predeterminados del preset MTPLX
- Resultados de pruebas en otras configuraciones de Apple Silicon (por ejemplo, M1, M2, M3, M4, diferentes tamaños de RAM)
Para Quién Es
Desarrolladores que ejecutan LLMs locales en Apple Silicon para flujos de trabajo agénticos de codificación que necesitan máxima velocidad de inferencia.
📖 Leer la fuente completa: r/LocalLLaMA
👀 Ver también
Quanta-SDK v0.9.2 agrega un servidor MCP para la ejecución de circuitos cuánticos mediante agentes de IA.
Quanta-SDK v0.9.2 ahora incluye un servidor MCP (Model Context Protocol) que proporciona a agentes de IA como Claude o GPT herramientas para ejecutar e interpretar circuitos cuánticos. El servidor ofrece más de 20 herramientas, incluyendo ejecución de circuitos en hardware de IBM, interpretación de resultados, análisis de ruido y precios financieros cuánticos.
Máquina Virtual Lógica: Un Sistema Basado en Prompts para Detener los Colapsos del Razonamiento en LLM
Un investigador ha desarrollado un prompt de Máquina Virtual Lógica (LVM) que obliga a los LLMs a detenerse y reportar modos de colapso específicos cuando encuentran paradojas o desvíos en el razonamiento, basándose en una única ley de estabilidad: K(σ) ⇒ K(β(σ)). El prompt es independiente del sustrato y funciona en modelos como Grok y Claude.
PocketBot: IA compila automatizaciones a JavaScript para una programación determinista y rentable
PocketBot aborda los problemas de costos de API y hardware compilando solicitudes en lenguaje natural en scripts de JavaScript autónomos que se ejecutan en programaciones sin llamadas a LLM en tiempo de ejecución. La herramienta usa IA solo una vez para escribir el código, luego se ejecuta de manera determinista con más de 20 integraciones incluyendo Google Suite, Slack y Notion.
Qwen3.6 27B y 35B en vLLM: Resultados de ajuste con una sola Radeon R9700
Un usuario comparte resultados de ajuste de vLLM para los modelos Qwen3.6 27B y 35B en una sola Radeon R9700, con diferencias de configuración y benchmarks detallados.