OpenClawエージェント、ウェブスクレイピングのコンテキスト肥大化によりAPIトークン20ドル分を消費

何が起きたのか

ある開発者が金融サイトを監視するOpenClawエージェントを構築していました。設定を済ませ、用事を済ませている間に実行させたところ、戻ってきたときには20ドル分のAPIトークンが完全に消費されていました。

問題：コンテキストウィンドウの肥大化

実際にコンテキストウィンドウに送信されている内容をログに記録し始めたところ、問題が判明しました：Yahoo Financeからの各取得で60万9,000トークンが送信されていたのです。これには必要な金融データだけでなく、ページ全体のHTML：ナビゲーションバー、クッキーバナー、広告マークアップ、インラインスクリプトなどが含まれていました。このすべての余分なコンテンツが毎回の取得でコンテキストウィンドウに投入され、トークン使用量とコストを押し上げていたのです。

解決策

開発者は最終的に問題を解決するツールを見つけ、大幅なトークン使用量と費用を節約しました。情報源では具体的にどのツールを使用したかは明記されていませんが、この種の問題は生のHTMLを処理するAIエージェントでウェブスクレイピングを行う際によく発生します。関連するコンテンツのみを抽出するツールや、処理前にHTMLをクリーンアップするツールを使用することで、この種のトークンの無駄を防ぐことができます。

重要なポイント

ウェブコンテンツを取得するエージェントを構築する際は、実際にコンテキストウィンドウに送信されている内容を常に確認してください。現代のウェブサイトからの生のHTMLには、大量の定型文、スクリプト、マークアップが含まれており、トークン使用量を桁違いに膨らませる可能性があります。必要なコンテンツのみを抽出するための前処理を実装することは、コスト管理において不可欠です。