Inférence des LLM : techniques pour une frontière efficace

Baseten décompose l'ingénierie d'inférence LLM en deux catégories : les techniques qui déplacent un déploiement le long de la frontière efficiente latence-débit, et les techniques qui repoussent toute la frontière. Cette distinction est importante lorsque vous décidez entre ajuster les paramètres ou adopter une nouvelle approche.

Techniques qui gèrent les compromis

Ces techniques vous permettent de cibler un point spécifique sur la frontière, comme favoriser la latence pour les utilisateurs interactifs ou le débit pour les charges de travail par lots. La frontière est irrégulière, attendez-vous à trouver des points de coupure de manière empirique.

• Taille de lot – Le nombre de requêtes concurrentes. Les petits lots offrent une excellente latence par utilisateur mais un coût élevé par jeton. Les grands lots améliorent le débit et réduisent le coût au détriment de la latence.
• Stratégie de parallélisme – La façon dont le modèle est divisé sur les GPU. L'augmentation du parallélisme tensoriel (TP) réduit la latence grâce à la communication rapide NVLink tout-à-tout. Le parallélisme expert (EP) peut être réglé : un EP plus faible pour une meilleure latence, un EP large (sur un rack) pour le débit. Le parallélisme de données d'attention (ADP) duplique les couches d'attention pour augmenter le débit système au prix de la vitesse par requête.
• Quantification – Fonctionner avec une précision inférieure (poids, activations, cache KV) améliore la latence et le débit. Cela introduit un compromis qualité-efficacité, qui peut être irrégulier : certains niveaux de quantification offrent de gros gains de service avec peu de perte de qualité.

Techniques qui repoussent la frontière

Ces techniques créent plus de marge de manœuvre à allouer comme bon vous semble. Baseten donne des exemples comme l'utilisation de meilleur matériel ou des mécanismes d'attention algorithmiquement plus efficaces.

L'article suppose que vous exécutez un modèle comme GLM-5.3 ou Kimi K3 pour le codage agentique, avec la réutilisation du cache KV et le routage conscient du KV déjà activés.

Pour une analyse plus approfondie des techniques qui relèvent de chaque catégorie et comment mesurer les compromis, lisez l'article complet.