LLM 추론: 효율적 최전선을 위한 기법

Baseten은 LLM 추론 엔지니어링을 두 가지 범주로 나눕니다: 배포를 지연 시간-처리량 효율 경계를 따라 이동시키는 기술과 전체 경계를 바깥으로 확장하는 기술입니다. 이 구분은 설정을 조정할지 새로운 접근 방식을 채택할지 결정할 때 중요합니다.

트레이드오프를 관리하는 기술

이러한 기술은 경계의 특정 지점을 목표로 할 수 있게 합니다—예: 대화형 사용자를 위한 지연 시간 우선 또는 배치 작업을 위한 처리량 우선. 경계는 들쭉날쭉하므로 실험적으로 컷오프 지점을 찾아야 합니다.

• 배치 크기 – 동시 요청 수. 작은 배치는 사용자당 우수한 지연 시간을 제공하지만 토큰당 비용이 높습니다. 큰 배치는 처리량을 향상시키고 비용을 낮추지만 지연 시간이 희생됩니다.
• 병렬 처리 전략 – 모델을 GPU에 분할하는 방법. 텐서 병렬 처리(TP)를 증가시키면 빠른 NVLink all-to-all 통신을 통해 지연 시간이 낮아집니다. 전문가 병렬 처리(EP)는 조정할 수 있습니다: 낮은 EP는 더 나은 지연 시간, 넓은 EP(랙 전체)는 처리량을 위해 사용합니다. 어텐션 데이터 병렬 처리(ADP)는 어텐션 레이어를 복제하여 요청당 속도는 희생하지만 시스템 처리량을 향상시킵니다.
• 양자화 – 낮은 정밀도(가중치, 활성화, KV 캐시)로 실행하면 지연 시간과 처리량이 향상됩니다. 이는 품질-효율 트레이드오프를 도입하며, 이는 들쭉날쭉할 수 있습니다—일부 양자화 수준은 품질 손실이 거의 없이 큰 서빙 이점을 제공합니다.

경계를 확장하는 기술

이러한 기술은 원하는 대로 할당할 수 있는 더 많은 여유를 만듭니다. Baseten은 더 나은 하드웨어 또는 알고리즘적으로 더 효율적인 어텐션 메커니즘 사용을 예로 듭니다.

이 기사는 GLM-5.3 또는 Kimi K3와 같은 모델을 에이전트 코딩에 사용하고, KV 캐시 재사용 및 KV 인식 라우팅이 이미 활성화되어 있다고 가정합니다.

각 범주에 어떤 기술이 포함되는지, 트레이드오프를 측정하는 방법에 대한 자세한 내용은 전체 게시물을 읽어보세요.