Unsloth y NVIDIA colaboran para acelerar el entrenamiento de LLM en ~25%

La colaboración de Unsloth con NVIDIA logra una aceleración del entrenamiento de ~25 % (sin pérdida de precisión) mediante la implementación de tres optimizaciones clave: almacenamiento en caché de metadatos de secuencias empaquetadas, punto de control de gradiente asíncrono con doble búfer y mejoras en el enrutamiento de MoE. Estas se activan automáticamente en laptops RTX, GPU de centro de datos y DGX Spark con una actualización de Unsloth.

Almacenamiento en caché de metadatos de secuencias empaquetadas

El entrenamiento empaquetado concatena ejemplos cortos para evitar el desperdicio de relleno. Cada capa del transformador reconstruía previamente los mismos metadatos de secuencia (longitudes, cu_seqlens, max_seqlen, estructura de máscara) desde cero, lo que provocaba una sobrecarga de sincronización entre dispositivo y host. Al almacenar en caché los metadatos una vez por lote y reutilizarlos entre capas, Unsloth reduce el trabajo repetido.

Las evaluaciones comparativas en Qwen3-14B QLoRA SFT muestran:

• Pase hacia adelante: +43,3 % más rápido
• Pase hacia atrás: +5,8 % más rápido
• General por lote: +14,3 % más rápido

Una microevaluación en GPU NVIDIA Blackwell midió el costo dominante de construcción de máscara en ~13,7 ms por lote empaquetado. Para Llama-3.2-1B (16 capas), esto se traduce en ~199 ms ahorrados por paso (11,5 % menos); para Qwen3-0.6B (28 capas), ~319 ms ahorrados (14,8 % menos).

Punto de control de gradiente asíncrono con doble búfer

El punto de control de gradiente asíncrono superpone la recomputación con el cómputo. Esto proporciona una aceleración del 8 % sin afectar la precisión.

Enrutamiento MoE: argsort + bincount

Para modelos MoE, usar torch.argsort y torch.bincount en lugar de kernels personalizados acelera el entrenamiento de gpt-oss en un 15 %.

Todas las optimizaciones se activan automáticamente en hardware compatible. Actualice Unsloth para obtenerlas.