Hypura: Programador de inferencia de LLM consciente del nivel de almacenamiento para Apple Silicon

Qué hace Hypura
Hypura es un planificador de inferencia para LLM consciente de los niveles de almacenamiento en Apple Silicon, que distribuye los tensores del modelo entre las capas de GPU, RAM y NVMe según los patrones de acceso, los costos de ancho de banda y las capacidades del hardware. Esto permite ejecutar modelos que exceden la memoria física sin que el sistema falle.
Características clave y cómo funciona
Hypura lee archivos GGUF, perfila tu hardware (conjunto de trabajo de la GPU, RAM, ancho de banda de NVMe) y resuelve una optimización de ubicación que asigna cada tensor a un nivel:
- GPU (Metal) — Capas de atención, normalizaciones, incrustaciones
- RAM — Capas que no caben en el conjunto de trabajo de la GPU, accedidas mediante mmap
- NVMe — Capas restantes cargadas bajo demanda mediante E/S directa (
F_NOCACHE + pread), precargadas antes del paso hacia adelante
Para modelos MoE como Mixtral, Hypura implementa transmisión de expertos: solo los tensores no expertos (~1 GB) permanecen en la GPU, mientras que los tensores expertos se transmiten desde NVMe a través de un búfer de grupo bajo demanda. Incluye una caché de neuronas con una tasa de acierto del 99.5% que elimina la mayoría de las E/S después del calentamiento, intercepción del enrutador para identificar los expertos seleccionados y seguimiento de coactivación para predecir qué expertos se activarán a continuación para la precarga especulativa.
Para modelos densos como Llama 70B, utiliza transmisión densa de FFN: la atención y las normalizaciones permanecen en la GPU (~8 GB) mientras que los tensores de FFN (~32 GB) se transmiten desde NVMe a través de un búfer de grupo de tamaño dinámico con precarga escalada anticipada.
Puntos de referencia de rendimiento
Todos los puntos de referencia en M1 Max, 32 GB de memoria unificada, ~5.1 GB/s de lectura secuencial en NVMe:
- Qwen 2.5 14B Q4_K_M (8.4 GB): Modo residente completo, 21 tok/s (igual que llama.cpp)
- Mixtral 8x7B Q5_K_M (30.9 GB): Modo de transmisión de expertos, 2.2 tok/s (llama.cpp sin memoria)
- Llama 3.3 70B Q4_K_M (39.6 GB): Modo de transmisión densa de FFN, 0.3 tok/s (llama.cpp sin memoria)
El tamaño del búfer de grupo, la profundidad de precarga y los presupuestos de memoria se calculan automáticamente a partir del perfil de tu hardware; no se requiere ajuste manual.
Instalación
Hypura se compila desde el código fuente con Cargo. Necesitarás Rust 1.75+ y CMake.
📖 Read the full source: HN AI Agents
👀 Ver también

Sandbox0: Infraestructura de Sandbox de Código Abierto Nativa de Kubernetes para Agentes de IA
Sandbox0 es una infraestructura de sandbox de código abierto para agentes de IA construida sobre Kubernetes con almacenamiento persistente a través de JuiceFS y escalado automático. Aborda limitaciones como límites de concurrencia y ejecución efímera que se encuentran en soluciones existentes.

La habilidad de Claude para Devvit mejora la precisión de generación de código del 73% al 100%.
Un desarrollador creó una capa de prompt estructurada SKILL.md para Claude que proporciona contexto para la plataforma Devvit de Reddit, mejorando los resultados de evaluación de 7/10 a 10/10 en tareas comunes de Devvit al prevenir errores específicos de tiempo de ejecución.

TEMM1E v3.1.0: Agente de IA que se ajusta automáticamente mediante interacciones con usuarios.
TEMM1E v3.1.0 presenta Eigen-Tune, un sistema que captura las interacciones de LLM como datos de entrenamiento, evalúa la calidad a partir del comportamiento del usuario y ajusta modelos locales mediante LoRA sin coste adicional de LLM. Probado en Apple M2, corrigió conversiones de temperatura de 72°F = '150°C' a '21.2°C' tras 10 conversaciones.

Servidor MCP de Shipshots: Claude diseña capturas de pantalla de la App Store y videos de vista previa
Shipshots es un editor visual con un servidor MCP que permite a Claude diseñar materiales de marketing mediante llamadas a herramientas. Genera capturas de pantalla para tiendas de aplicaciones, videos de vista previa animados y gráficos para redes sociales basados en descripciones de texto.