Lightning MLX : Moteur IA local rapide pour usage agentique sur Apple Silicon délivre 220 tok/s sur Qwen 35B-A3B

Un nouveau moteur d'inférence open source pour Apple Silicon appelé Lightning MLX revendique être le moteur IA local le plus rapide, spécialement optimisé pour les workflows agentiques — agents de codage, appels d'outils et tâches à faible latence. Le projet est disponible sur GitHub à l'adresse samuelfaj/lightning-mlx.

Résultats des benchmarks

L'auteur a testé sur un MacBook Max M5 avec 128 Go de RAM et a rapporté les vitesses de génération de tokens suivantes :

• Qwen3.6-27B : 40,67 tok/s
• Qwen3.6-35B-A3B : 220,86 tok/s

Ces résultats suggèrent que le moteur est particulièrement efficace pour l'architecture mixture-of-experts utilisée dans le modèle Qwen3.6-35B-A3B, qui n'active qu'un sous-ensemble de paramètres par token.

Fonctionnalités clés

• Optimisé pour les cas d'usage agentiques à faible latence — génération de code, appels d'outils et boucles d'inférence rapides
• Inclut une configuration prédéfinie appelée MTPLX (valeurs d'échantillonnage personnalisées) ; l'auteur sollicite des retours pour savoir si ces valeurs par défaut sont adaptées à un usage en production
• Open source sous licence MIT (probablement) sur GitHub

Demandes de retours

Le créateur demande activement à la communauté :

• De meilleures conceptions de benchmarks pour les agents de codage locaux
• Des avis sur les valeurs par défaut du preset MTPLX
• Des résultats de test sur d'autres configurations Apple Silicon (par exemple, M1, M2, M3, M4, différentes tailles de RAM)

À qui cela s'adresse

Développeurs exécutant des LLM locaux sur Apple Silicon pour des workflows de codage agentiques ayant besoin d'une vitesse d'inférence maximale.