Infracost、AIエージェント向けにCLIを再設計し、Claudeのトークン使用量を79%削減

Infracostは、Terraform、CloudFormation、CDKからクラウドインフラコストを見積もるCLIツールです。このたび、Claude CodeやCursorのようなAIコーディングエージェント向けに出力を再設計しました。結果として、素のClaudeベースラインと比較して、出力トークンが最大79%削減され、APIコストが67%低減しました。この再設計は、CLIへの述語プッシュダウンとトークン効率の良い出力フォーマットという2つの技術を中心としています。

ベンチマーク詳細

• 1,171リソースを含む3プロジェクトのTerraformフィクスチャに対する16の質問
• モデル: Claude Opus、質問あたり5回の繰り返し
• ベースライン: BashツールとReadツールを使用した素のClaude（スキルはロードせず）
• 比較対象: --llm出力フラグを使用したInfracostスキル

主な結果

指標	素のClaude	Infracostスキル（--llm）	変化
正解数	5 / 11 (45%)	11 / 11 (100%)	+6
総コスト（USD）	$16.41	$9.63	-41%
出力トークン	207,017	81,697	-61%
実経過時間	50分	50分	同

一例として、「プロジェクト間で重複排除した、タグ付けポリシーに違反する個別リソースの数を数える」という質問は、素のClaudeでは$3.51のコストがかかり、25ターンの上限に達して回答が得られませんでした。一方、再設計されたCLIでは、同じ質問が$0.25で正しい回答を返しました。

技術的アプローチ

• 述語プッシュダウン: エージェントがJSONをjqでパイプしたりPythonパーサーを書いたりする代わりに、CLIがフィルタリングフラグ（例：--tag-policy）を受け入れ、計算をツール自身にオフロードします。これにより、ターン数とトークン消費が削減されます。
• トークン効率の良い出力フォーマット: --llmフラグは、冗長な人間向けテーブルや完全なJSONではなく、コンパクトでエージェントに優しいフォーマットを返します。これだけで削減のかなりの部分を占めます。

ベンチマーク実行時の注意点

Infracostは、他の人が落とし穴を避けられるように、ハーネス設定をオープンソース化しました：

• ベースライン実行ではサンドボックスのHOMEを使用し、誤ったスキルロードを防ぐ
• TMPDIRをプロジェクトローカルディレクトリに設定し、macOSのACL問題を回避
• システムインストールに頼らず、テストバイナリをPATHの先頭に追加
• 20〜30％のトークン変動のため、セルごとに5回以上の繰り返しを行う
• ターン上限に達したセルを再実行（--rerun-failed）し、検証器が変わった場合は再スコアリング（--rescore）する

AIエージェントがサブプロセスとして呼び出すCLIを保守している場合、同じ2つの手法（述語プッシュダウンと専用のエージェント出力フォーマット）が適用できるでしょう。この再設計により人間向けのCLIも改善されましたが、この記事ではエージェント側に焦点を当てています。