Hypura : Planificateur d'inférence LLM optimisé pour les niveaux de stockage des puces Apple Silicon

✍️ OpenClawRadar📅 Publié: March 24, 2026🔗 Source
Hypura : Planificateur d'inférence LLM optimisé pour les niveaux de stockage des puces Apple Silicon
Ad

Ce que fait Hypura

Hypura est un planificateur d'inférence LLM adapté aux niveaux de stockage pour Apple Silicon qui place les tenseurs du modèle entre les niveaux GPU, RAM et NVMe en fonction des modèles d'accès, des coûts de bande passante et des capacités matérielles. Cela permet d'exécuter des modèles qui dépassent la mémoire physique sans faire planter le système.

Fonctionnalités clés et fonctionnement

Hypura lit les fichiers GGUF, profile votre matériel (ensemble de travail GPU, RAM, bande passante NVMe) et résout une optimisation de placement qui assigne chaque tenseur à un niveau :

  • GPU (Metal) — Couches d'attention, normalisations, embeddings
  • RAM — Couches en débordement qui ne rentrent pas dans l'ensemble de travail GPU, accédées via mmap
  • NVMe — Couches restantes chargées à la demande via I/O direct (F_NOCACHE + pread), préchargées avant la passe avant

Pour les modèles MoE comme Mixtral, Hypura implémente le streaming d'experts : seuls les tenseurs non-experts (~1 Go) restent sur GPU, tandis que les tenseurs d'experts sont streamés depuis le NVMe via un tampon de pool à la demande. Il inclut un cache de neurones avec un taux de réussite de 99,5 % qui élimine la plupart des I/O après l'échauffement, une interception du routeur pour identifier les experts sélectionnés, et un suivi de co-activation pour prédire quels experts seront activés ensuite pour un préchargement spéculatif.

Pour les modèles denses comme Llama 70B, il utilise le streaming FFN dense : l'attention + normalisations restent sur GPU (~8 Go) tandis que les tenseurs FFN (~32 Go) sont streamés depuis le NVMe via un tampon de pool à taille dynamique avec un préchargement anticipé ajusté.

Ad

Benchmarks de performance

Tous les benchmarks sur M1 Max, 32 Go de mémoire unifiée, ~5,1 Go/s de lecture séquentielle NVMe :

  • Qwen 2.5 14B Q4_K_M (8,4 Go) : Mode résident complet, 21 tok/s (identique à llama.cpp)
  • Mixtral 8x7B Q5_K_M (30,9 Go) : Mode streaming d'experts, 2,2 tok/s (llama.cpp OOM)
  • Llama 3.3 70B Q4_K_M (39,6 Go) : Mode streaming FFN dense, 0,3 tok/s (llama.cpp OOM)

La taille du tampon de pool, la profondeur de préchargement et les budgets mémoire sont calculés automatiquement à partir de votre profil matériel — aucun réglage manuel nécessaire.

Installation

Hypura se compile depuis les sources avec Cargo. Vous aurez besoin de Rust 1.75+ et CMake.

📖 Lire la source complète : HN AI Agents

Ad

👀 See Also

js-notepad : Un Bloc-notes Scriptable avec Serveur MCP Intégré pour Claude Code
Tools

js-notepad : Un Bloc-notes Scriptable avec Serveur MCP Intégré pour Claude Code

js-notepad est une application de bloc-notes scriptable gratuite et open-source, construite avec l'assistance de Claude Code. Elle dispose d'un serveur MCP intégré, permettant à Claude Code d'interagir directement avec l'application pour lire/écrire des pages, exécuter des scripts, créer des tâches et pousser des résultats.

OpenClawRadar
Unsloth et NVIDIA collaborent pour accélérer l'entraînement des LLM d'environ 25%
Tools

Unsloth et NVIDIA collaborent pour accélérer l'entraînement des LLM d'environ 25%

Unsloth et NVIDIA publient des optimisations pour l'entraînement des LLM : mise en cache des métadonnées de séquences packagées (~14,3% d'accélération) et checkpointing asynchrone à double tampon (~8% d'accélération), sans perte de précision. Activé automatiquement sur les ordinateurs portables RTX, les GPU de centre de données et le DGX Spark.

OpenClawRadar
Correction de la fuite mémoire de Claude Code pour les homelabs Linux
Tools

Correction de la fuite mémoire de Claude Code pour les homelabs Linux

Un développeur a découvert que Claude Code présente une fuite de mémoire sévère dans glibc malloc qui a consommé 400 Go de RAM et fait planter son homelab Proxmox, puis a créé une solution de protection à deux niveaux avec un shim LD_PRELOAD et un watchdog.

OpenClawRadar
Plugin de reclassement externe pour OpenClaw Memory-Core : réutiliser les anciens GPU
Tools

Plugin de reclassement externe pour OpenClaw Memory-Core : réutiliser les anciens GPU

Un développeur partage un plugin pour OpenClaw qui permet à memory-core d'utiliser un reranker externe au lieu du QMD intégré, améliorant les performances sur les configurations limitées en CPU.

OpenClawRadar