Microsoft BitNet: 1-Bit-LLM-Inferenz-Framework für CPU und GPU

Was BitNet ist

BitNet ist Microsofts offizielles Inferenz-Framework für 1-Bit-LLMs (wie BitNet b1.58). Es bietet optimierte Kernel für schnelle, verlustfreie Inferenz auf CPU und GPU, mit geplanter NPU-Unterstützung. Das Framework basiert auf llama.cpp und nutzt Lookup-Table-Methoden von T-MAC.

Leistungsbenchmarks

Auf ARM-CPUs: 1,37- bis 5,07-fache Beschleunigung mit 55,4 % bis 70,0 % Energieeinsparung. Auf x86-CPUs: 2,37- bis 6,17-fache Beschleunigung mit 71,9 % bis 82,2 % Energieeinsparung. Die neueste Optimierung fügt parallele Kernel-Implementierungen mit konfigurierbarem Tiling und Embedding-Quantisierungsunterstützung hinzu, was eine zusätzliche Beschleunigung von 1,15- bis 2,1-fach gegenüber der ursprünglichen Implementierung erreicht.

BitNet kann ein 100-Milliarden-Parameter-Modell von BitNet b1.58 auf einer einzelnen CPU mit Geschwindigkeiten ausführen, die mit menschlichem Lesen vergleichbar sind (5–7 Token pro Sekunde).

Unterstützte Modelle

• BitNet-b1.58-2B-4T (2,4 Mrd. Parameter) - x86: ✅ I2_S, ❌ TL1, ✅ TL2 | ARM: ✅ I2_S, ✅ TL1, ❌ TL2
• bitnet_b1_58-large (0,7 Mrd.) - x86: ✅ I2_S, ❌ TL1, ✅ TL2 | ARM: ✅ I2_S, ✅ TL1, ❌ TL2
• bitnet_b1_58-3B (3,3 Mrd.) - x86: ❌ I2_S, ❌ TL1, ✅ TL2 | ARM: ❌ I2_S, ✅ TL1, ❌ TL2
• Llama3-8B-1.58-100B-tokens (8,0 Mrd.) - x86: ✅ I2_S, ❌ TL1, ✅ TL2 | ARM: ✅ I2_S, ✅ TL1, ❌ TL2
• Falcon3 Family (1–10 Mrd.) - x86: ✅ I2_S, ❌ TL1, ✅ TL2 | ARM: ✅ I2_S, ✅ TL1, ❌ TL2
• Falcon-E Family (1–3 Mrd.) - x86: ✅ I2_S, ❌ TL1, ✅ TL2 | ARM: ✅ I2_S, ✅ TL1, ❌ TL2

Installationsvoraussetzungen

Python≥3.9, CMake≥3.22, Clang≥18. Für Windows: Visual Studio 2022 mit Desktop-Entwicklung mit C++, C++-CMake-Tools für Windows, Git für Windows, C++-Clang-Compiler für Windows und MS-Build-Unterstützung für LLVM-Toolset (clang). Für Debian/Ubuntu: Verwenden Sie das automatische Installationsskript: bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"

Aus dem Quellcode bauen

Repository klonen: git clone --recursive https://github.com/microsoft/BitNet.git

Verzeichnis wechseln: cd BitNet

Abhängigkeiten installieren: # (Empfohlen) Erstellen Sie eine neue Conda-Umgebung

Windows-Benutzer müssen für Build-Befehle eine Developer Command Prompt/PowerShell für VS2022 verwenden.

Aktuelle Updates

• 15.01.2026: BitNet-CPU-Inferenzoptimierung
• 20.05.2025: Offizieller BitNet-GPU-Inferenzkernel
• 14.04.2025: Offizielles BitNet-2-Milliarden-Parameter-Modell auf Hugging Face
• 18.02.2025: Bitnet.cpp: Effiziente Edge-Inferenz für ternäre LLMs
• 08.11.2024: BitNet a4.8: 4-Bit-Aktivierungen für 1-Bit-LLMs
• 21.10.2024: 1-Bit-AI-Infrastruktur: Teil 1.1, Schnelle und verlustfreie BitNet-b1.58-Inferenz auf CPUs
• 17.10.2024: bitnet.cpp 1.0 veröffentlicht