Lightning MLX : Moteur IA local rapide pour usage agentique sur Apple Silicon délivre 220 tok/s sur Qwen 35B-A3B
Un nouveau moteur d'inférence open source pour Apple Silicon appelé Lightning MLX revendique être le moteur IA local le plus rapide, spécialement optimisé pour les workflows agentiques — agents de codage, appels d'outils et tâches à faible latence. Le projet est disponible sur GitHub à l'adresse samuelfaj/lightning-mlx.
Résultats des benchmarks
L'auteur a testé sur un MacBook Max M5 avec 128 Go de RAM et a rapporté les vitesses de génération de tokens suivantes :
- Qwen3.6-27B : 40,67 tok/s
- Qwen3.6-35B-A3B : 220,86 tok/s
Ces résultats suggèrent que le moteur est particulièrement efficace pour l'architecture mixture-of-experts utilisée dans le modèle Qwen3.6-35B-A3B, qui n'active qu'un sous-ensemble de paramètres par token.
Fonctionnalités clés
- Optimisé pour les cas d'usage agentiques à faible latence — génération de code, appels d'outils et boucles d'inférence rapides
- Inclut une configuration prédéfinie appelée MTPLX (valeurs d'échantillonnage personnalisées) ; l'auteur sollicite des retours pour savoir si ces valeurs par défaut sont adaptées à un usage en production
- Open source sous licence MIT (probablement) sur GitHub
Demandes de retours
Le créateur demande activement à la communauté :
- De meilleures conceptions de benchmarks pour les agents de codage locaux
- Des avis sur les valeurs par défaut du preset MTPLX
- Des résultats de test sur d'autres configurations Apple Silicon (par exemple, M1, M2, M3, M4, différentes tailles de RAM)
À qui cela s'adresse
Développeurs exécutant des LLM locaux sur Apple Silicon pour des workflows de codage agentiques ayant besoin d'une vitesse d'inférence maximale.
📖 Read the full source: r/LocalLLaMA
👀 See Also
Déclawé : Un Scanner de Logiciels Malveillants OpenClaw Piloté par la Communauté
Declawed est un nouveau scanner de logiciels malveillants OpenClaw SKILL.md axé sur la détection d'injections de prompts arbitraires, de contenu malveillant et de voleurs d'informations dans les compétences ClawHub.
Kios : Un lecteur iOS pour les bibliothèques Kobo/Calibre auto-hébergées avec synchronisation de la progression
Kios est une application iOS qui lit des livres depuis des serveurs Kobo/Calibre auto-hébergés et synchronise la progression de lecture via le protocole Kobo, OPDS 1.2/2.0 et kosync. Construite avec Claude Code.
L'outil GrapeRoot réduit les coûts de Claude Code de 45 % grâce à un contexte de référentiel pré-analysé.
Un outil gratuit appelé GrapeRoot qui pré-analyse les dépôts et construit des graphes de dépendances a réduit les coûts de Claude Code de 45 % en moyenne sur 10 tâches d'ingénierie tout en améliorant la qualité des réponses de 13 %. L'outil élimine les boucles d'exploration qui consomment normalement des tokens.
Historique ELO du modèle Arena AI suit la dégradation des performances des LLM au fil du temps
Un tableau de bord en direct visualise les classements ELO des modèles phares des grands laboratoires d'IA, révélant une dégradation graduelle des performances et des sauts soudains lors des nouvelles versions. L'outil trace dynamiquement une courbe par laboratoire, en suivant le modèle le mieux noté.