Unsloth e NVIDIA colaboram para acelerar o treinamento de LLMs em ~25%

A colaboração da Unsloth com a NVIDIA resulta em ~25% de aceleração no treinamento (sem perda de precisão) através da implementação de três otimizações principais: cache de metadados de sequências empacotadas, checkpointing de gradiente assíncrono com buffer duplo e melhorias no roteamento MoE. Estas são ativadas automaticamente em laptops RTX, GPUs de data center e DGX Spark com uma atualização do Unsloth.

Cache de Metadados de Sequências Empacotadas

O treinamento empacotado concatena exemplos curtos para evitar desperdício de preenchimento. Cada camada do transformer anteriormente recriava os mesmos metadados de sequência (comprimentos, cu_seqlens, max_seqlen, estrutura da máscara) do zero, causando sobrecarga de sincronização dispositivo-hospedeiro. Ao armazenar em cache os metadados uma vez por lote e reutilizá-los entre camadas, o Unsloth reduz o trabalho repetido.

Benchmarks no Qwen3-14B QLoRA SFT mostram:

• Forward pass: +43,3% mais rápido
• Backward pass: +5,8% mais rápido
• Geral por lote: +14,3% mais rápido

Um microbenchmark em GPUs NVIDIA Blackwell mediu o custo dominante de construção de máscara em ~13,7 ms por lote empacotado. Para Llama-3.2-1B (16 camadas), isso se traduz em ~199 ms economizados por passo (11,5% menor); para Qwen3-0.6B (28 camadas), ~319 ms economizados (14,8% menor).

Checkpointing de Gradiente Assíncrono com Buffer Duplo

O checkpointing de gradiente assíncrono sobrepõe recomputação com computação. Isso proporciona uma aceleração de 8% sem impactar a precisão.

Roteamento MoE: argsort + bincount

Para modelos MoE, usar torch.argsort e torch.bincount em vez de kernels personalizados acelera o treinamento gpt-oss em 15%.

Todas as otimizações são ativadas automaticamente em hardware suportado. Atualize o Unsloth para obtê-las.