Inferência de LLM: Técnicas para a Fronteira Eficiente

A Baseten divide a engenharia de inferência de LLM em duas categorias: técnicas que movem uma implantação ao longo da fronteira eficiente de latência–throughput e técnicas que expandem toda a fronteira. Essa distinção é importante ao decidir entre ajustar configurações ou adotar uma nova abordagem.

Técnicas que gerenciam compensações

Elas permitem atingir um ponto específico na fronteira—como favorecer latência para usuários interativos ou throughput para cargas de trabalho em lote. A fronteira é irregular, então espere encontrar pontos de corte empiricamente.

• Tamanho do lote – O número de solicitações concorrentes. Lotes pequenos oferecem excelente latência por usuário, mas alto custo por token. Lotes grandes melhoram o throughput e reduzem o custo, ao custo do aumento de latência.
• Estratégia de paralelismo – Como o modelo é dividido entre GPUs. Aumentar o Paralelismo de Tensor (TP) reduz a latência via comunicação rápida all-to-all do NVLink. O Paralelismo de Especialistas (EP) pode ser ajustado: EP menor para melhor latência, EP amplo (através de um rack) para throughput. Paralelismo de Dados de Atenção (ADP) replica camadas de atenção para aumentar o throughput do sistema ao custo da velocidade por solicitação.
• Quantização – Operar com menor precisão (pesos, ativações, cache KV) melhora a latência e o throughput. Isso introduz uma compensação qualidade–eficiência, que pode ser irregular—alguns níveis de quantização oferecem grandes ganhos de serviço com pouca perda de qualidade.

Técnicas que expandem a fronteira

Elas criam mais espaço para alocar conforme necessário. A Baseten dá exemplos como usar hardware melhor ou mecanismos de atenção algoritmicamente mais eficientes.

O artigo assume que você está executando um modelo como o GLM-5.3 ou Kimi K3 para codificação de agente, com reutilização de cache KV e roteamento ciente de KV já habilitados.

Para um mergulho mais profundo em quais técnicas se enquadram em cada categoria e como medir as compensações, leia o post completo.