FOMOE Permet l'Inférence du Modèle Qwen3.5 de 397B sur un Matériel de Bureau à 2 100 $

Ce que FOMOE résout
Les grands modèles Mixture of Experts (MoE) nécessitent des centaines de Go de stockage de poids, généralement dans une mémoire flash comme le NVMe. Pendant l'inférence, seule une petite fraction des poids est nécessaire, mais on ne peut pas prédire à l'avance lesquels. Les modèles d'accès aléatoires rendent les latences de la mémoire flash trop élevées pour une inférence pratique sur du matériel grand public.
Comment fonctionne FOMOE
Le système rend la plupart des lectures de poids d'experts inutiles grâce à plusieurs techniques :
- Stocke les experts les plus courants dans la mémoire GPU (VRAM) avec un cache d'experts roulant à jour
- Atteint un taux de succès VRAM de 60% avec un démarrage à chaud, réduisant les lectures NVMe à 28% (12% servis depuis la DRAM)
- Utilise une architecture ping-pong à double GPU pour superposer le chargement des poids et le calcul
- Implémente le Cache-Aware Routing (CAR) - lorsque deux experts ont des scores similaires, le modèle choisit l'expert suivant le mieux noté déjà présent dans le cache VRAM ou DRAM dans un seuil acceptable
Résultats de performance
- Vitesse d'inférence de 5 à 9 tokens/seconde pour le modèle Qwen3.5 à 397 milliards de paramètres
- Lectures NVMe réduites à 7% avec CAR activé
- Seulement 3,5% de baisse de perplexité mesurée sur wikitext
- Configuration matérielle requise : deux GPU à 500$, 32 Go de RAM, un disque NVMe
- Utilise la quantification Q4_K_M
L'implémentation consiste en environ 15 000 lignes de code C/HIP piloté par Claude avec une forte guidance humaine.
📖 Read the full source: r/LocalLLaMA
👀 See Also

CLAUDE.md : Un fichier prêt à l'emploi réduit de 63 % les tokens de sortie de Claude
CLAUDE.md est un fichier unique qui réduit la verbosité des réponses de Claude d'environ 63 % sans modification de code. Il cible la flagornerie, la verbosité et le bruit de formatage dans les réponses de Claude.

Architect CLI : Outil open-source pour orchestrer des agents d'IA sans interface dans CI/CD
Architect est un outil CLI open-source conçu pour les agents d'IA de codage autonomes dans les pipelines CI/CD, avec la boucle Ralph pour les cycles test-réessai, des garde-fous déterministes, des définitions de pipeline YAML et la prise en charge de plusieurs LLM via LiteLLM.

Fondateur d'AgentMail détaille l'intégration native aux agents après qu'OpenClaw ait exposé le blocage CAPTCHA
AgentMail, une API d'e-mail pour agents IA, a reconstruit son processus d'intégration après que son propre agent OpenClaw a échoué à un CAPTCHA Cloudflare. Le nouveau système propose un seul point de terminaison REST pour la création de compte programmatique tout en maintenant l'intervention humaine pour la vérification.

PromptForest : Détection d'injection de prompts local-first avec incertitude
PromptForest est une bibliothèque légère et locale qui détecte les injections de prompts et les jailbreaks, en les classant tout en évaluant la certitude, le tout sans augmenter la latence moyenne des requêtes.