인프라코스트, AI 에이전트를 위한 CLI 재설계로 클로드 토큰 사용량 79% 절감

Infracost는 Terraform, CloudFormation, CDK로부터 클라우드 인프라 비용을 추정하는 CLI 도구로, Claude Code 및 Cursor와 같은 AI 코딩 에이전트를 위해 출력을 재설계했습니다. 그 결과, bare-Claude 기준 대비 출력 토큰이 최대 79% 감소하고 API 비용이 67% 절감되었습니다. 이 재설계는 두 가지 기술을 중심으로 이루어졌습니다: CLI로의 조건 푸시다운(predicate pushdown)과 토큰 효율적인 출력 형식입니다.

벤치마크 세부 사항

• 1,171개 리소스를 가진 3개 프로젝트 Terraform 픽스처에 대한 16개 질문
• 모델: Claude Opus, 질문당 5회 반복
• 기준: Bash 및 Read 도구를 사용한 bare Claude, 스킬 미탑재
• 비교 대상: --llm 출력 플래그가 있는 Infracost 스킬

주요 결과

측정 항목	Bare Claude	Infracost 스킬 포함 (--llm)	변화
정답 수	5 / 11 (45%)	11 / 11 (100%)	+6
총 비용 (USD)	$16.41	$9.63	-41%
출력 토큰	207,017	81,697	-61%
경과 시간	50분	50분	동일

한 예로, "프로젝트 간 중복 제거된 태깅 정책을 위반하는 고유 리소스 개수"라는 질문은 bare Claude로 $3.51의 비용이 들었고 25턴 제한에 도달하여 답변을 반환하지 못했습니다. 재설계된 CLI로 동일한 질문은 $0.25의 비용으로 정확한 답변을 반환했습니다.

기술적 접근 방식

• 조건 푸시다운: 에이전트가 JSON을 jq로 파이프하거나 Python 파서를 작성하는 대신, CLI가 필터링 플래그(예: --tag-policy)를 받아들이도록 하여 계산을 도구 자체에 오프로드합니다. 이는 턴 수와 토큰 소비를 줄입니다.
• 토큰 효율적인 출력 형식: --llm 플래그는 장황한 사람이 읽기 쉬운 테이블이나 전체 JSON 대신 간결하고 에이전트 친화적인 형식을 반환합니다. 이는 감소량의 상당 부분을 차지합니다.

벤치마크 환경의 주의 사항

Infracost는 다른 사람들이 함정을 피할 수 있도록 자체 환경 설정을 오픈소스로 공개했습니다:

• 기준 실행을 위해 샌드박스 HOME을 사용하여 우발적인 스킬 로딩 방지
• macOS ACL 문제를 우회하기 위해 TMPDIR을 프로젝트 로컬 디렉토리로 설정
• 시스템 설치에 의존하지 않고 테스트 바이너리를 PATH에 앞에 추가
• 20-30%의 토큰 변동성 때문에 셀당 5회 이상 반복
• 턴 제한에 도달한 셀 재실행(--rerun-failed) 및 검증기가 변경된 경우 재채점(--rescore)

AI 에이전트가 서브프로세스로 호출하는 CLI를 유지 관리한다면, 조건 푸시다운과 전용 에이전트 출력 형식이라는 동일한 두 가지 방법이 적용될 가능성이 높습니다. 이 재설계는 사람을 위한 CLI도 개선했지만, 이 글은 에이전트 경로에 초점을 맞추고 있습니다.