UnslothとNVIDIA、LLMトレーニングを約25%高速化するために協力

UnslothとNVIDIAの協業により、3つの主要な最適化を実装することで、トレーニングが約25%高速化（精度低下なし）しました。具体的には、パックシーケンスメタデータのキャッシュ、ダブルバッファ非同期勾配チェックポインティング、およびMoEルーティングの改善です。これらはUnslothのアップデートにより、RTXノートPC、データセンターGPU、DGX Sparkで自動有効化されます。

パックシーケンスメタデータのキャッシュ

パックトレーニングは短いサンプルを連結してパディングの無駄を避けます。従来、各トランスフォーマー層は同じシーケンスメタデータ（長さ、cu_seqlens、max_seqlen、マスク構造）を毎回ゼロから再構築しており、デバイス-ホスト間の同期オーバーヘッドが発生していました。Unslothはメタデータをバッチごとに一度キャッシュし、各層で再利用することで、繰り返しの作業を削減します。

Qwen3-14B QLoRA SFTでのベンチマーク結果：

• 順伝播：43.3%高速化
• 逆伝播：5.8%高速化
• バッチ全体：14.3%高速化

NVIDIA Blackwell GPUでのマイクロベンチマークでは、支配的なマスク構築コストがパックバッチあたり約13.7ミリ秒と測定されました。Llama-3.2-1B（16層）では、ステップあたり約199ミリ秒（11.5%削減）、Qwen3-0.6B（28層）では約319ミリ秒（14.8%削減）の節約になります。

ダブルバッファ非同期勾配チェックポインティング

非同期勾配チェックポインティングは再計算を計算とオーバーラップさせます。これにより、精度に影響を与えずに8%の高速化を実現します。

MoEルーティング：argsort + bincount

MoEモデルでは、カスタムカーネルの代わりにtorch.argsortとtorch.bincountを使用することで、gpt-ossトレーニングが15%高速化されます。

すべての最適化はサポート対象ハードウェアで自動有効化されます。Unslothをアップデートしてご利用ください。