Unsloth와 NVIDIA 협력, LLM 훈련 속도 약 25% 향상

Unsloth와 NVIDIA의 협업으로 세 가지 핵심 최적화를 구현하여 ~25%의 학습 속도 향상(정확도 손실 없음)을 달성했습니다: 패킹된 시퀀스 메타데이터 캐싱, 이중 버퍼 비동기 그래디언트 체크포인팅, MoE 라우팅 개선. 이러한 최적화는 Unsloth 업데이트와 함께 RTX 노트북, 데이터센터 GPU, DGX Spark에서 자동 활성화됩니다.

패킹된 시퀀스 메타데이터 캐싱

패킹 트레이닝은 짧은 예제를 연결하여 패딩 낭비를 방지합니다. 이전에는 각 트랜스포머 레이어가 동일한 시퀀스 메타데이터(길이, cu_seqlens, max_seqlen, 마스크 구조)를 매번 처음부터 재구성하여 디바이스-호스트 동기화 오버헤드가 발생했습니다. Unsloth는 메타데이터를 배치당 한 번 캐싱하고 레이어 전체에서 재사용하여 반복 작업을 줄입니다.

Qwen3-14B QLoRA SFT 벤치마크 결과:

• 순전파: +43.3% 더 빠름
• 역전파: +5.8% 더 빠름
• 배치당 전체: +14.3% 더 빠름

NVIDIA Blackwell GPU에서의 마이크로벤치마크에서는 주요 마스크 구성 비용이 패킹된 배치당 약 13.7ms로 측정되었습니다. Llama-3.2-1B(16레이어)의 경우 단계당 약 199ms 절약(11.5% 감소), Qwen3-0.6B(28레이어)의 경우 약 319ms 절약(14.8% 감소)됩니다.

이중 버퍼 비동기 그래디언트 체크포인팅

비동기 그래디언트 체크포인팅은 재계산과 계산을 중첩시킵니다. 정확도에 영향을 주지 않으면서 8%의 속도 향상을 제공합니다.

MoE 라우팅: argsort + bincount

MoE 모델의 경우, 커스텀 커널 대신 torch.argsort와 torch.bincount를 사용하면 gpt-oss 학습 속도가 15% 향상됩니다.

모든 최적화는 지원 하드웨어에서 자동 활성화됩니다. Unsloth를 업데이트하여 적용하세요.