에이전트 프레임워크는 세션당 35만 개 이상의 토큰을 정적 파일 재전송에 낭비합니다.

토큰 낭비 벤치마크 결과

로컬 Qwen 3.5 122B 설정에서 수행한 측정 결과, 에이전트 프레임워크가 정적 파일을 반복적으로 재전송함으로써 세션당 350,000개 이상의 토큰을 낭비하는 것으로 나타났습니다. 출처에서는 이 수치를 "비현실적"이라고 설명합니다.

최적화 접근법

컴파일 타임 접근법을 통해 쿼리 컨텍스트를 1,373개 토큰에서 단 73개 토큰으로 줄일 수 있는 방법이 발견되었습니다. 이는 해당 컨텍스트에서 토큰 사용량을 95% 감소시킨 것을 의미합니다.

벤치마크에서는 또한 단순한 JSON 변환이 문제를 30% 더 악화시켜, 토큰 낭비가 기준 측정치를 초과하여 증가한다는 사실도 발견되었습니다.

기술적 배경

에이전트 프레임워크는 일반적으로 시스템 프롬프트, 도구 정의 및 세션 내 여러 상호작용에서 정적으로 유지되는 기타 구성 데이터를 포함합니다. 이 데이터가 모든 쿼리마다 재전송되면 모델에 새로운 정보를 제공하지 않으면서 토큰을 소비하게 됩니다. 이는 Qwen 3.5 122B와 같은 대형 모델에서 특히 비용이 많이 드는데, 토큰 처리가 성능과 비용에 직접적인 영향을 미치기 때문입니다.

컴파일 타임 접근법은 정적 요소를 재전송하는 대신 참조할 수 있도록 사전 처리하는 것을 포함할 가능성이 높으며, 이는 현대 웹 애플리케이션이 정적 자산을 캐시하는 방식과 유사합니다. AI 코딩 에이전트를 사용하는 개발자들에게 이 오버헤드를 줄이는 것은 응답 시간을 크게 개선하고 운영 비용을 절감할 수 있습니다.