FOMOE Permet l'Inférence du Modèle Qwen3.5 de 397B sur un Matériel de Bureau à 2 100 $
Ce que FOMOE résout
Les grands modèles Mixture of Experts (MoE) nécessitent des centaines de Go de stockage de poids, généralement dans une mémoire flash comme le NVMe. Pendant l'inférence, seule une petite fraction des poids est nécessaire, mais on ne peut pas prédire à l'avance lesquels. Les modèles d'accès aléatoires rendent les latences de la mémoire flash trop élevées pour une inférence pratique sur du matériel grand public.
Comment fonctionne FOMOE
Le système rend la plupart des lectures de poids d'experts inutiles grâce à plusieurs techniques :
- Stocke les experts les plus courants dans la mémoire GPU (VRAM) avec un cache d'experts roulant à jour
- Atteint un taux de succès VRAM de 60% avec un démarrage à chaud, réduisant les lectures NVMe à 28% (12% servis depuis la DRAM)
- Utilise une architecture ping-pong à double GPU pour superposer le chargement des poids et le calcul
- Implémente le Cache-Aware Routing (CAR) - lorsque deux experts ont des scores similaires, le modèle choisit l'expert suivant le mieux noté déjà présent dans le cache VRAM ou DRAM dans un seuil acceptable
Résultats de performance
- Vitesse d'inférence de 5 à 9 tokens/seconde pour le modèle Qwen3.5 à 397 milliards de paramètres
- Lectures NVMe réduites à 7% avec CAR activé
- Seulement 3,5% de baisse de perplexité mesurée sur wikitext
- Configuration matérielle requise : deux GPU à 500$, 32 Go de RAM, un disque NVMe
- Utilise la quantification Q4_K_M
L'implémentation consiste en environ 15 000 lignes de code C/HIP piloté par Claude avec une forte guidance humaine.
📖 Read the full source: r/LocalLLaMA
👀 See Also
Agents de codage parallèles avec tmux et spécifications en Markdown
Manuel Schipper décrit un système pour exécuter 4 à 8 agents de codage en parallèle en utilisant tmux, des fichiers Markdown, des alias bash et six commandes slash. La configuration utilise des spécifications Feature Design (FD) en Markdown suivies à travers un cycle de vie en 8 étapes.
EvalShift : CLI open source pour détecter les régressions LLM lors de la migration de modèle
EvalShift est un CLI Python sous licence MIT qui compare les sorties des LLM source et cible sur des invites, des agents et des workflows d'appel d'outils, générant un rapport de régression HTML local.
Werld : Simulation de vie artificielle ouverte avec réseaux de neurones évolutifs
Werld est une simulation de vie artificielle en temps réel où des agents dotés de réseaux neuronaux NEAT font évoluer leur propre architecture neuronale, leur traitement sensoriel et leurs comportements sans règles prédéfinies ni fonctions de récompense. La simulation commence avec 30 agents sur un graphe petit-monde de Watts-Strogatz avec 64 canaux sensoriels, 7 fonctions motrices continues et 29 traits génétiques héréditaires.
Exécuter NemoClaw avec vLLM Local : Notes de Configuration et Observations sur l'Ingénierie d'Agents
Un développeur a documenté l'exécution de la plateforme d'agents IA sandbox NemoClaw de NVIDIA avec un modèle local Nemotron 9B v2 via vLLM sur WSL2. Les principales découvertes incluent des détails sur le routage de l'inférence, des problèmes de compatibilité des analyseurs et des observations sur l'écart en ingénierie des agents.