Unsloth und NVIDIA arbeiten zusammen, um das LLM-Training um etwa 25 % zu beschleunigen

Die Zusammenarbeit von Unsloth mit NVIDIA führt zu einer ~25%igen Trainingsbeschleunigung (ohne Genauigkeitsverlust) durch die Implementierung von drei wichtigen Optimierungen: Caching von Metadaten gepackter Sequenzen, doppelt gepuffertes asynchrones Gradienten-Checkpointing und Verbesserungen beim MoE-Routing. Diese werden mit einem Unsloth-Update automatisch auf RTX-Laptops, Data-Center-GPUs und DGX Spark aktiviert.

Caching von Metadaten gepackter Sequenzen

Gepacktes Training verkettet kurze Beispiele, um Padding-Verschwendung zu vermeiden. Bisher hat jede Transformator-Schicht dieselben Sequenzmetadaten (Längen, cu_seqlens, max_seqlen, Maskenstruktur) von Grund auf neu aufgebaut, was zu Synchronisations-Overhead zwischen Gerät und Host führte. Indem die Metadaten einmal pro Batch zwischengespeichert und über Schichten hinweg wiederverwendet werden, reduziert Unsloth wiederholte Arbeit.

Benchmarks mit Qwen3-14B QLoRA SFT zeigen:

• Vorwärtspass: +43,3% schneller
• Rückwärtspass: +5,8% schneller
• Insgesamt pro Batch: +14,3% schneller

Ein Mikrobenchmark auf NVIDIA Blackwell GPUs maß die dominante Maskenkonstruktionskosten mit ~13,7 ms pro gepacktem Batch. Für Llama-3.2-1B (16 Schichten) bedeutet dies ~199 ms Einsparung pro Schritt (11,5% weniger); für Qwen3-0.6B (28 Schichten) ~319 ms Einsparung (14,8% weniger).

Doppelt gepuffertes asynchrones Gradienten-Checkpointing

Asynchrones Gradienten-Checkpointing überlappt die Neuberechnung mit der Berechnung. Dies ergibt eine 8%ige Beschleunigung ohne Beeinträchtigung der Genauigkeit.

MoE-Routing: argsort + bincount

Für MoE-Modelle beschleunigt die Verwendung von torch.argsort und torch.bincount anstelle benutzerdefinierter Kernel das gpt-oss-Training um 15%.

Alle Optimierungen werden auf unterstützter Hardware automatisch aktiviert. Aktualisieren Sie Unsloth, um sie zu erhalten.