Hypura: Programador de inferencia de LLM consciente del nivel de almacenamiento para Apple Silicon

Qué hace Hypura
Hypura es un planificador de inferencia para LLM consciente de los niveles de almacenamiento en Apple Silicon, que distribuye los tensores del modelo entre las capas de GPU, RAM y NVMe según los patrones de acceso, los costos de ancho de banda y las capacidades del hardware. Esto permite ejecutar modelos que exceden la memoria física sin que el sistema falle.
Características clave y cómo funciona
Hypura lee archivos GGUF, perfila tu hardware (conjunto de trabajo de la GPU, RAM, ancho de banda de NVMe) y resuelve una optimización de ubicación que asigna cada tensor a un nivel:
- GPU (Metal) — Capas de atención, normalizaciones, incrustaciones
- RAM — Capas que no caben en el conjunto de trabajo de la GPU, accedidas mediante mmap
- NVMe — Capas restantes cargadas bajo demanda mediante E/S directa (
F_NOCACHE + pread), precargadas antes del paso hacia adelante
Para modelos MoE como Mixtral, Hypura implementa transmisión de expertos: solo los tensores no expertos (~1 GB) permanecen en la GPU, mientras que los tensores expertos se transmiten desde NVMe a través de un búfer de grupo bajo demanda. Incluye una caché de neuronas con una tasa de acierto del 99.5% que elimina la mayoría de las E/S después del calentamiento, intercepción del enrutador para identificar los expertos seleccionados y seguimiento de coactivación para predecir qué expertos se activarán a continuación para la precarga especulativa.
Para modelos densos como Llama 70B, utiliza transmisión densa de FFN: la atención y las normalizaciones permanecen en la GPU (~8 GB) mientras que los tensores de FFN (~32 GB) se transmiten desde NVMe a través de un búfer de grupo de tamaño dinámico con precarga escalada anticipada.
Puntos de referencia de rendimiento
Todos los puntos de referencia en M1 Max, 32 GB de memoria unificada, ~5.1 GB/s de lectura secuencial en NVMe:
- Qwen 2.5 14B Q4_K_M (8.4 GB): Modo residente completo, 21 tok/s (igual que llama.cpp)
- Mixtral 8x7B Q5_K_M (30.9 GB): Modo de transmisión de expertos, 2.2 tok/s (llama.cpp sin memoria)
- Llama 3.3 70B Q4_K_M (39.6 GB): Modo de transmisión densa de FFN, 0.3 tok/s (llama.cpp sin memoria)
El tamaño del búfer de grupo, la profundidad de precarga y los presupuestos de memoria se calculan automáticamente a partir del perfil de tu hardware; no se requiere ajuste manual.
Instalación
Hypura se compila desde el código fuente con Cargo. Necesitarás Rust 1.75+ y CMake.
📖 Read the full source: HN AI Agents
👀 Ver también

ClawMetry: Panel de Observabilidad de Código Abierto para Agentes OpenClaw
ClawMetry es un panel de observabilidad de código abierto para agentes OpenClaw que proporciona actividad de sesión en vivo, seguimiento de costos de tokens, detección de cambios en archivos de memoria y alertas de sesiones bloqueadas. Se ejecuta localmente con pip install clawmetry y fue construido utilizando OpenClaw mismo.

Clawpage: Una Herramienta que Convierte Conversaciones de OpenClaw en Sitios Web Estáticos
Un desarrollador creó Clawpage, una habilidad que transforma el historial de sesiones de OpenClaw en páginas web estáticas para conservar conversaciones valiosas, incluyendo el intercambio de ideas, la investigación y el proceso de depuración. La herramienta está disponible en GitHub.

Infraestructura de Agentes de IA: AgentMail, AgentLine, AgentCard, Daytona y más
Una publicación de Reddit enumera empresas que construyen primitivas específicas para agentes: AgentMail (correo electrónico), AgentLine (teléfono), AgentCard (pagos), Daytona/E2B (computadoras), Browserbase/Browser Use/Hyperbrowser (navegadores), Firecrawl (rastreo), Mem0 (memoria), Composio (herramientas SaaS).

Sherlock: Documentación de Apple Developer como MCP Local para Claude Code
Sherlock indexa 70.000 símbolos de la API de Apple en SQLite FTS5 y proporciona 5 herramientas MCP + 3 habilidades de activación automática para basar a Claude Code en documentación real, evitando alucinaciones.