マイクロソフト BitNet: CPUとGPU向けの1ビットLLM推論フレームワーク

BitNetとは

BitNetは、マイクロソフトが公式に提供する1ビットLLM（BitNet b1.58など）向けの推論フレームワークです。CPUとGPUで高速かつロスレスな推論を実現する最適化カーネルを提供し、NPUサポートも計画されています。このフレームワークはllama.cppを基盤として構築され、T-MACのルックアップテーブル手法を採用しています。

性能ベンチマーク

ARM CPUでは：1.37倍から5.07倍の高速化と、55.4%から70.0%のエネルギー削減を実現。x86 CPUでは：2.37倍から6.17倍の高速化と、71.9%から82.2%のエネルギー削減を実現。最新の最適化では、設定可能なタイリングと埋め込み量子化サポートを備えた並列カーネル実装を追加し、元の実装に対して1.15倍から2.1倍のさらなる高速化を達成しています。

BitNetは、1000億パラメータのBitNet b1.58モデルを単一のCPUで、人間の読書速度に匹敵する速度（秒間5〜7トークン）で実行できます。

対応モデル

• BitNet-b1.58-2B-4T（24億パラメータ）- x86：✅ I2_S、❌ TL1、✅ TL2 | ARM：✅ I2_S、✅ TL1、❌ TL2
• bitnet_b1_58-large（7億パラメータ）- x86：✅ I2_S、❌ TL1、✅ TL2 | ARM：✅ I2_S、✅ TL1、❌ TL2
• bitnet_b1_58-3B（33億パラメータ）- x86：❌ I2_S、❌ TL1、✅ TL2 | ARM：❌ I2_S、✅ TL1、❌ TL2
• Llama3-8B-1.58-100B-tokens（80億パラメータ）- x86：✅ I2_S、❌ TL1、✅ TL2 | ARM：✅ I2_S、✅ TL1、❌ TL2
• Falcon3 Family（10億〜100億パラメータ）- x86：✅ I2_S、❌ TL1、✅ TL2 | ARM：✅ I2_S、✅ TL1、❌ TL2
• Falcon-E Family（10億〜30億パラメータ）- x86：✅ I2_S、❌ TL1、✅ TL2 | ARM：✅ I2_S、✅ TL1、❌ TL2

インストール要件

Python≥3.9、CMake≥3.22、Clang≥18。Windowsの場合：Visual Studio 2022 with Desktop development with C++、C++-CMake Tools for Windows、Git for Windows、C++-Clang Compiler for Windows、およびMS-Build Support for LLVM-Toolset（clang）。Debian/Ubuntuの場合：自動インストールスクリプトを使用：bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"

ソースからのビルド

リポジトリをクローン：git clone --recursive https://github.com/microsoft/BitNet.git

ディレクトリを変更：cd BitNet

依存関係をインストール：# （推奨）新しいconda環境を作成

Windowsユーザーは、ビルドコマンドにVS2022の開発者コマンドプロンプト/PowerShellを使用する必要があります。

最近の更新

• 2026年1月15日：BitNet CPU推論最適化
• 2025年5月20日：BitNet公式GPU推論カーネル
• 2025年4月14日：BitNet公式20億パラメータモデルをHugging Faceで公開
• 2025年2月18日：Bitnet.cpp：3値LLM向け効率的なエッジ推論
• 2024年11月8日：BitNet a4.8：1ビットLLM向け4ビット活性化
• 2024年10月21日：1ビットAIインフラ：パート1.1、CPUでの高速かつロスレスなBitNet b1.58推論
• 2024年10月17日：bitnet.cpp 1.0リリース