LLM推論：効率的フロンティアのための技術

Basetenは、LLM推論エンジニアリングを2つのカテゴリに分類しています：デプロイメントをレイテンシとスループットの効率的フロンティアに沿って移動させる技術と、フロンティア全体を外側に押し広げる技術です。この区別は、設定を調整するか新しいアプローチを採用するかを決定する際に重要です。

トレードオフを管理する技術

これらを使用すると、フロンティア上の特定のポイントをターゲットにできます。たとえば、インタラクティブなユーザーにはレイテンシを優先し、バッチワークロードにはスループットを優先するといった具合です。フロンティアはギザギザしているため、経験的にカットオフポイントを見つける必要があります。

• バッチサイズ – 同時リクエスト数。小さいバッチはユーザーごとのレイテンシは優れていますが、トークンあたりのコストが高くなります。大きいバッチはスループットを向上させコストを削減しますが、レイテンシが犠牲になります。
• 並列処理戦略 – モデルをGPU間で分割する方法。テンソル並列処理（TP）を増やすと、高速なNVLinkの全対全通信によりレイテンシが低下します。エキスパート並列処理（EP）は調整可能で、EPを低くするとレイテンシが改善され、ワイドEP（ラック全体）はスループットに効果的です。アテンションデータ並列処理（ADP）はアテンション層を複製してシステム全体のスループットを向上させますが、リクエストごとの速度は犠牲になります。
• 量子化 – 低精度（重み、アクティベーション、KVキャッシュ）で実行すると、レイテンシとスループットが向上します。これには品質と効率のトレードオフが導入され、それはギザギザしている可能性があります。一部の量子化レベルは、品質の低下を抑えつつ、サービスの大きな向上をもたらします。

フロンティアを押し広げる技術

これらは、必要に応じて割り当てられる余裕を生み出します。Basetenは、より優れたハードウェアやアルゴリズム的に効率的なアテンション機構の使用などの例を挙げています。

この記事では、エージェントコーディング用のGLM-5.3やKimi K3などのモデルを実行し、KVキャッシュ再利用とKV対応ルーティングがすでに有効であることを前提としています。

各カテゴリにどの技術が該当するか、およびトレードオフを測定する方法について詳しく知りたい場合は、完全な投稿をお読みください。