Inferencia de LLM: Técnicas para la Frontera Eficiente

Baseten divide la ingeniería de inferencia de LLM en dos categorías: técnicas que mueven un despliegue a lo largo de la frontera eficiente de latencia-rendimiento, y técnicas que expanden toda la frontera. Esta distinción es importante al decidir si ajustar la configuración o adoptar un nuevo enfoque.

Técnicas que gestionan compensaciones

Estas le permiten apuntar a un punto específico en la frontera, como favorecer la latencia para usuarios interactivos o el rendimiento para cargas de trabajo por lotes. La frontera es irregular, así que espere encontrar puntos de corte empíricamente.

• Tamaño de lote – El número de solicitudes concurrentes. Los lotes pequeños ofrecen una excelente latencia por usuario pero un alto costo por token. Los lotes grandes mejoran el rendimiento y reducen el costo a expensas de la latencia.
• Estrategia de paralelismo – Cómo se divide el modelo entre GPU. Aumentar el Paralelismo Tensorial (TP) reduce la latencia mediante la rápida comunicación all-to-all de NVLink. El Paralelismo de Expertos (EP) se puede ajustar: EP más bajo para mejor latencia, EP amplio (a través de un rack) para rendimiento. El Paralelismo de Datos de Atención (ADP) replica las capas de atención para aumentar el rendimiento del sistema a costa de la velocidad por solicitud.
• Cuantización – Ejecutar con menor precisión (pesos, activaciones, caché KV) mejora la latencia y el rendimiento. Introduce una compensación entre calidad y eficiencia, que puede ser irregular: algunos niveles de cuantización ofrecen grandes ganancias de servicio con poca pérdida de calidad.

Técnicas que expanden la frontera

Estas crean más margen de maniobra para asignar como mejor le parezca. Baseten da ejemplos como usar mejor hardware o mecanismos de atención algorítmicamente más eficientes.

El artículo asume que está ejecutando un modelo como GLM-5.3 o Kimi K3 para codificación de agentes, con reutilización de caché KV y enrutamiento consciente de KV ya habilitados.

Para una inmersión más profunda en qué técnicas caen en cada categoría y cómo medir las compensaciones, lea el artículo completo.