ZSE: Motor de inferencia de LLM de código abierto con arranques en frío de 3.9 segundos

Qué hace ZSE

ZSE (Z Server Engine) es un motor de inferencia de LLM de código abierto centrado en la eficiencia de memoria y los arranques en frío rápidos. Aborda el problema en el que ejecutar un modelo de 32B normalmente requiere ~64GB de VRAM, y los arranques en frío con bitsandbytes NF4 toman 2+ minutos en la primera carga.

Mejoras clave de rendimiento

ZSE ajusta modelos de 32B en 19.3GB de VRAM (70% de reducción vs FP16) y se ejecuta en una sola A100-40GB. Para modelos de 7B, utiliza 5.2GB de VRAM (63% de reducción) y se ejecuta en GPUs de consumo.

Las mejoras en el arranque en frío son significativas: 3.9s para modelos de 7B y 21.4s para modelos de 32B con el formato .zse, en comparación con 45s y 120s con bitsandbytes. Estos puntos de referencia se verificaron en Modal A100-80GB en febrero de 2026.

Enfoque técnico

La mejora en el arranque en frío proviene del formato .zse que almacena pesos pre-cuantizados como safetensors mapeados en memoria. Esto elimina la cuantización en el tiempo de carga y la conversión de pesos, utilizando solo mmap + transferencia a GPU. En SSDs NVMe, esto se reduce a menos de 4 segundos para modelos de 7B.

Instalación y uso

Instalar con: pip install zllm-zse

Inicio básico del servidor: zse serve Qwen/Qwen2.5-7B-Instruct

Para arranques en frío rápidos (conversión única):

zse convert Qwen/Qwen2.5-Coder-7B-Instruct -o qwen-7b.zse
zse serve qwen-7b.zse  # 3.9s cada vez

Características

• Servidor API compatible con OpenAI (reemplazo directo)
• CLI interactivo (zse serve, zse chat, zse convert, zse hardware)
• Panel web con monitoreo de GPU en tiempo real
• Procesamiento por lotes continuo (3.45× rendimiento)
• Soporte GGUF mediante fallback de CPU llama.cpp — funciona sin GPU
• Limitación de tasa, registro de auditoría, autenticación por clave API

Componentes de arquitectura

• zAttention: Kernels CUDA personalizados para atención paginada, flash y dispersa
• zQuantize: Cuantización de precisión mixta INT2-8 por tensor
• zKV: Caché KV cuantizada con precisión deslizante (4x ahorro de memoria)
• zStream: Transmisión de capas con prefetch asíncrono (ejecuta 70B en GPU de 24GB)
• zOrchestrator: Recomendaciones inteligentes basadas en memoria LIBRE

Modos de eficiencia

• velocidad: Máximo rendimiento (producción con amplia memoria GPU)
• equilibrado: Buen rendimiento, memoria moderada (implementación estándar, predeterminado)
• memoria: Baja memoria, rendimiento reducido (GPUs de consumo)
• ultra: Ahorro extremo de memoria (GPUs de 4GB, portátiles)

Modelos compatibles

Cualquier modelo de transformers de HuggingFace, safetensors, GGUF o formato .zse. Opciones populares incluyen Qwen, Llama, Mistral, Phi, Gemma, DeepSeek y Yi.