ZSE: Motor de inferência de LLM de código aberto com inicializações a frio de 3,9 segundos

O que o ZSE faz

ZSE (Z Server Engine) é um motor de inferência de LLM de código aberto focado em eficiência de memória e inicializações a frio rápidas. Ele aborda o problema em que executar um modelo de 32B normalmente requer ~64GB de VRAM, e as inicializações a frio com bitsandbytes NF4 levam 2+ minutos no primeiro carregamento.

Principais melhorias de desempenho

O ZSE acomoda modelos de 32B em 19,3GB de VRAM (redução de 70% vs FP16) e roda em um único A100-40GB. Para modelos de 7B, ele usa 5,2GB de VRAM (redução de 63%) e roda em GPUs de consumo.

As melhorias na inicialização a frio são significativas: 3,9s para modelos de 7B e 21,4s para modelos de 32B com o formato .zse, comparado a 45s e 120s com bitsandbytes. Esses benchmarks foram verificados no Modal A100-80GB em fevereiro de 2026.

Abordagem técnica

A melhoria na inicialização a frio vem do formato .zse armazenando pesos pré-quantizados como safetensors mapeados na memória. Isso elimina a quantização no tempo de carregamento e a conversão de pesos, usando apenas mmap + transferência para GPU. Em SSDs NVMe, isso fica abaixo de 4 segundos para modelos de 7B.

Instalação e uso

Instale com: pip install zllm-zse

Início básico do servidor: zse serve Qwen/Qwen2.5-7B-Instruct

Para inicializações a frio rápidas (conversão única):

zse convert Qwen/Qwen2.5-Coder-7B-Instruct -o qwen-7b.zse
zse serve qwen-7b.zse  # 3.9s toda vez

Recursos

• Servidor de API compatível com OpenAI (substituição direta)
• CLI interativo (zse serve, zse chat, zse convert, zse hardware)
• Painel web com monitoramento de GPU em tempo real
• Loteamento contínuo (3,45× de throughput)
• Suporte a GGUF via fallback de CPU do llama.cpp — funciona sem GPU
• Limitação de taxa, registro de auditoria, autenticação por chave de API

Componentes da arquitetura

• zAttention: Kernels CUDA personalizados para atenção paginada, flash e esparsa
• zQuantize: Quantização de precisão mista INT2-8 por tensor
• zKV: Cache KV quantizado com precisão deslizante (economia de 4x de memória)
• zStream: Streaming de camadas com pré-busca assíncrona (executa 70B em GPU de 24GB)
• zOrchestrator: Recomendações inteligentes baseadas em memória LIVRE

Modos de eficiência

• speed: Máximo throughput (produção com memória de GPU ampla)
• balanced: Bom throughput, memória moderada (implantação padrão, padrão)
• memory: Baixa memória, throughput reduzido (GPUs de consumo)
• ultra: Economia extrema de memória (GPUs de 4GB, laptops)

Modelos suportados

Qualquer modelo do HuggingFace transformers, safetensors, GGUF ou formato .zse. Escolhas populares incluem Qwen, Llama, Mistral, Phi, Gemma, DeepSeek e Yi.