ZSE: 3.9秒のコールドスタートを実現するオープンソースLLM推論エンジン

ZSEの機能

ZSE（Z Server Engine）は、メモリ効率と高速なコールドスタートに焦点を当てたオープンソースのLLM推論エンジンです。通常32Bモデルの実行には約64GBのVRAMが必要で、bitsandbytes NF4を使用した初回ロード時のコールドスタートが2分以上かかるという問題に対処します。

主要な性能向上

ZSEは32Bモデルを19.3GB VRAMに収め（FP16比70%削減）、単一のA100-40GBで動作します。7Bモデルでは5.2GB VRAMを使用し（63%削減）、コンシューマー向けGPUで動作します。

コールドスタートの改善は顕著で、.zseフォーマットを使用した7Bモデルで3.9秒、32Bモデルで21.4秒となり、bitsandbytesの45秒および120秒と比較して大幅に高速化されています。これらのベンチマークは2026年2月にModal A100-80GBで検証されました。

技術的アプローチ

コールドスタートの改善は、.zseフォーマットが事前量子化された重みをメモリマップされたsafetensorsとして保存することに起因します。これにより、ロード時の量子化と重み変換が不要となり、mmapとGPU転送のみを使用します。NVMe SSDでは、7Bモデルで4秒未満を達成します。

インストールと使用方法

インストール: pip install zllm-zse

基本的なサーバー起動: zse serve Qwen/Qwen2.5-7B-Instruct

高速コールドスタート（一度だけ変換が必要）:

zse convert Qwen/Qwen2.5-Coder-7B-Instruct -o qwen-7b.zse
zse serve qwen-7b.zse  # 毎回3.9秒

機能

• OpenAI互換APIサーバー（ドロップイン置換可能）
• インタラクティブCLI（zse serve、zse chat、zse convert、zse hardware）
• リアルタイムGPU監視付きウェブダッシュボード
• 連続バッチ処理（3.45倍のスループット）
• llama.cpp CPUフォールバックによるGGUFサポート — GPUなしで動作
• レート制限、監査ログ、APIキー認証

アーキテクチャコンポーネント

• zAttention: ページング、フラッシュ、スパースアテンション用のカスタムCUDAカーネル
• zQuantize: テンソルごとのINT2-8混合精度量子化
• zKV: スライディング精度付き量子化KVキャッシュ（4倍のメモリ節約）
• zStream: 非同期プリフェッチ付きレイヤーストリーミング（24GB GPUで70Bモデル実行可能）
• zOrchestrator: 空きメモリに基づくスマートな推奨設定

効率モード

• speed: 最大スループット（十分なGPUメモリがある本番環境向け）
• balanced: 良好なスループット、適度なメモリ使用（標準デプロイメント、デフォルト）
• memory: 低メモリ使用、スループット低下（コンシューマー向けGPU向け）
• ultra: 極限のメモリ節約（4GB GPU、ノートパソコン向け）

サポートモデル

HuggingFace transformersモデル、safetensors、GGUF、または.zseフォーマットのすべてのモデル。人気のある選択肢にはQwen、Llama、Mistral、Phi、Gemma、DeepSeek、Yiなどがあります。