마이크로소프트 BitNet: CPU 및 GPU용 1비트 LLM 추론 프레임워크

BitNet이란 무엇인가

BitNet은 마이크로소프트의 공식 1비트 LLM 추론 프레임워크입니다(예: BitNet b1.58). CPU와 GPU에서 빠르고 무손실 추론을 위한 최적화된 커널을 제공하며, NPU 지원이 계획되어 있습니다. 이 프레임워크는 llama.cpp를 기반으로 구축되었으며 T-MAC의 룩업 테이블 방법론을 사용합니다.

성능 벤치마크

ARM CPU에서: 1.37배에서 5.07배 속도 향상과 55.4%에서 70.0% 에너지 감소. x86 CPU에서: 2.37배에서 6.17배 속도 향상과 71.9%에서 82.2% 에너지 감소. 최신 최적화는 구성 가능한 타일링과 임베딩 양자화 지원을 포함한 병렬 커널 구현을 추가하여 원래 구현 대비 1.15배에서 2.1배의 추가 속도 향상을 달성했습니다.

BitNet은 단일 CPU에서 1000억 파라미터 BitNet b1.58 모델을 인간 읽기 속도와 비슷한 속도(초당 5-7 토큰)로 실행할 수 있습니다.

지원 모델

• BitNet-b1.58-2B-4T (24억 파라미터) - x86: ✅ I2_S, ❌ TL1, ✅ TL2 | ARM: ✅ I2_S, ✅ TL1, ❌ TL2
• bitnet_b1_58-large (7억) - x86: ✅ I2_S, ❌ TL1, ✅ TL2 | ARM: ✅ I2_S, ✅ TL1, ❌ TL2
• bitnet_b1_58-3B (33억) - x86: ❌ I2_S, ❌ TL1, ✅ TL2 | ARM: ❌ I2_S, ✅ TL1, ❌ TL2
• Llama3-8B-1.58-100B-tokens (80억) - x86: ✅ I2_S, ❌ TL1, ✅ TL2 | ARM: ✅ I2_S, ✅ TL1, ❌ TL2
• Falcon3 Family (10억-100억) - x86: ✅ I2_S, ❌ TL1, ✅ TL2 | ARM: ✅ I2_S, ✅ TL1, ❌ TL2
• Falcon-E Family (10억-30억) - x86: ✅ I2_S, ❌ TL1, ✅ TL2 | ARM: ✅ I2_S, ✅ TL1, ❌ TL2

설치 요구사항

Python≥3.9, CMake≥3.22, Clang≥18. Windows의 경우: Visual Studio 2022 with Desktop development with C++, C++-CMake Tools for Windows, Git for Windows, C++-Clang Compiler for Windows, MS-Build Support for LLVM-Toolset (clang). Debian/Ubuntu의 경우: 자동 설치 스크립트 사용: bash -c "$(wget -O - https://apt.llvm.org/llvm.sh)"

소스에서 빌드

저장소 클론: git clone --recursive https://github.com/microsoft/BitNet.git

디렉토리 변경: cd BitNet

의존성 설치: # (권장) 새 conda 환경 생성

Windows 사용자는 빌드 명령어를 위해 VS2022용 개발자 명령 프롬프트/PowerShell을 사용해야 합니다.

최근 업데이트

• 2026년 1월 15일: BitNet CPU 추론 최적화
• 2025년 5월 20일: BitNet 공식 GPU 추론 커널
• 2025년 4월 14일: BitNet 공식 20억 파라미터 모델 Hugging Face 출시
• 2025년 2월 18일: Bitnet.cpp: 3진 LLM을 위한 효율적인 엣지 추론
• 2024년 11월 8일: BitNet a4.8: 1비트 LLM을 위한 4비트 활성화
• 2024년 10월 21일: 1비트 AI 인프라: 파트 1.1, CPU에서 빠르고 무손실 BitNet b1.58 추론
• 2024년 10월 17일: bitnet.cpp 1.0 출시