UnslothとNVIDIA、LLMトレーニングを約25%高速化するために協力

UnslothとNVIDIAの協業により、3つの主要な最適化を実装することで、トレーニングが約25%高速化(精度低下なし)しました。具体的には、パックシーケンスメタデータのキャッシュ、ダブルバッファ非同期勾配チェックポインティング、およびMoEルーティングの改善です。これらはUnslothのアップデートにより、RTXノートPC、データセンターGPU、DGX Sparkで自動有効化されます。
パックシーケンスメタデータのキャッシュ
パックトレーニングは短いサンプルを連結してパディングの無駄を避けます。従来、各トランスフォーマー層は同じシーケンスメタデータ(長さ、cu_seqlens、max_seqlen、マスク構造)を毎回ゼロから再構築しており、デバイス-ホスト間の同期オーバーヘッドが発生していました。Unslothはメタデータをバッチごとに一度キャッシュし、各層で再利用することで、繰り返しの作業を削減します。
Qwen3-14B QLoRA SFTでのベンチマーク結果:
- 順伝播:43.3%高速化
- 逆伝播:5.8%高速化
- バッチ全体:14.3%高速化
NVIDIA Blackwell GPUでのマイクロベンチマークでは、支配的なマスク構築コストがパックバッチあたり約13.7ミリ秒と測定されました。Llama-3.2-1B(16層)では、ステップあたり約199ミリ秒(11.5%削減)、Qwen3-0.6B(28層)では約319ミリ秒(14.8%削減)の節約になります。
ダブルバッファ非同期勾配チェックポインティング
非同期勾配チェックポインティングは再計算を計算とオーバーラップさせます。これにより、精度に影響を与えずに8%の高速化を実現します。
MoEルーティング:argsort + bincount
MoEモデルでは、カスタムカーネルの代わりにtorch.argsortとtorch.bincountを使用することで、gpt-ossトレーニングが15%高速化されます。
すべての最適化はサポート対象ハードウェアで自動有効化されます。Unslothをアップデートしてご利用ください。
📖 出典全文: HN LLM Tools
👀 See Also

44,212件のClaude Codeログにおける「プロンプト千件あたりのFワード数」メトリクスで開発者のフラストレーションを追跡
ある開発者が「fpk」(プロンプト千件あたりのfワード数)を5ヶ月間、44,212件のClaude Codeプロンプトにわたって追跡したところ、フラストレーションがClaude Opus 4-5から4-7で3.4倍減少し、ほとんどの悪態はモデルではなく環境ツールに向けられていたことがわかった。

OpenMindは、OpenClawインストールに視覚的なマインドマップインターフェースを追加します。
OpenMindは、OpenClawインストールをインタラクティブでライブ編集可能なマインドマップに変換するオープンソースツールです。リアルタイムのメモリ可視化、ホットスワップ可能なロジック、全ノードにわたる全文検索機能を備えています。

開発者が、トピックやYouTubeリンクからポッドキャストを作成するローカルAI研究エージェントを構築しました。
ある開発者が、トピックやYouTubeリンクを入力として受け取り、深掘りレポート、会話形式のポッドキャストスクリプト、音声を生成する完全ローカルのAIエージェントを構築しました。このシステムは、動的に調査を行い、洞察を抽出し、要約を洗練させ、自然な対話を作成します。

ForgeAI: モデルエンジニアリングのためのビジュアルワークベンチ
ForgeAIは、3Dモデルアーキテクチャの検査やM-DNA Forgeによる視覚的なレイヤー統合などの機能を提供し、モデルの検査、統合、トレーニングのためのビジュアルインターフェースを提供します。