ZSE: 3.9초의 콜드 스타트를 지원하는 오픈소스 LLM 추론 엔진

ZSE의 기능

ZSE(Z Server Engine)는 메모리 효율성과 빠른 콜드 스타트에 중점을 둔 오픈소스 LLM 추론 엔진입니다. 일반적으로 32B 모델을 실행하려면 ~64GB VRAM이 필요하고, bitsandbytes NF4를 사용한 첫 로드 시 콜드 스타트가 2분 이상 걸리는 문제를 해결합니다.

주요 성능 개선

ZSE는 32B 모델을 19.3GB VRAM에 맞추고(FP16 대비 70% 감소) 단일 A100-40GB에서 실행합니다. 7B 모델의 경우 5.2GB VRAM을 사용하며(63% 감소) 소비자용 GPU에서 실행됩니다.

콜드 스타트 개선은 상당합니다: .zse 포맷으로 7B 모델은 3.9초, 32B 모델은 21.4초로, bitsandbytes의 45초와 120초에 비해 크게 단축됩니다. 이 벤치마크는 2026년 2월 Modal A100-80GB에서 검증되었습니다.

기술적 접근 방식

콜드 스타트 개선은 .zse 포맷이 사전 양자화된 가중치를 메모리 매핑된 safetensors로 저장하기 때문입니다. 이는 로드 시 양자화와 가중치 변환을 제거하며, 단순히 mmap + GPU 전송만 사용합니다. NVMe SSD에서는 7B 모델의 경우 4초 미만으로 단축됩니다.

설치 및 사용법

설치: pip install zllm-zse

기본 서버 시작: zse serve Qwen/Qwen2.5-7B-Instruct

빠른 콜드 스타트(일회성 변환):

zse convert Qwen/Qwen2.5-Coder-7B-Instruct -o qwen-7b.zse
zse serve qwen-7b.zse  # 매번 3.9초

기능

• OpenAI 호환 API 서버(드롭인 대체 가능)
• 대화형 CLI(zse serve, zse chat, zse convert, zse hardware)
• 실시간 GPU 모니터링 웹 대시보드
• 연속 배칭(3.45배 처리량)
• llama.cpp CPU 폴백을 통한 GGUF 지원 — GPU 없이 작동
• 속도 제한, 감사 로깅, API 키 인증

아키텍처 구성 요소

• zAttention: 페이징, 플래시, 희소 어텐션을 위한 맞춤형 CUDA 커널
• zQuantize: 텐서별 INT2-8 혼합 정밀도 양자화
• zKV: 슬라이딩 정밀도가 적용된 양자화된 KV 캐시(4배 메모리 절약)
• zStream: 비동기 프리페치가 적용된 레이어 스트리밍(24GB GPU에서 70B 실행)
• zOrchestrator: 사용 가능한 메모리를 기반으로 한 스마트 권장 사항

효율성 모드

• speed: 최대 처리량(충분한 GPU 메모리가 있는 프로덕션 환경)
• balanced: 좋은 처리량, 적당한 메모리 사용(표준 배포, 기본값)
• memory: 낮은 메모리 사용, 감소된 처리량(소비자용 GPU)
• ultra: 극단적인 메모리 절약(4GB GPU, 노트북)

지원 모델

HuggingFace transformers 모델, safetensors, GGUF 또는 .zse 포맷의 모든 모델. 인기 있는 선택지로는 Qwen, Llama, Mistral, Phi, Gemma, DeepSeek, Yi 등이 있습니다.