OpenClaw 에이전트, 웹 스크래핑 컨텍스트 비대화로 인해 API 토큰 20달러 소진

무슨 일이 있었나

한 개발자가 금융 사이트를 모니터링하기 위해 OpenClaw 에이전트를 개발 중이었습니다. 설정을 마치고 잠시 외출한 사이 에이전트가 실행되었고, 돌아와서는 20달러 상당의 API 토큰이 모두 소진된 것을 발견했습니다.

문제: 컨텍스트 창 팽창

실제로 컨텍스트 창에 전송되는 내용을 기록하기 시작했을 때 문제를 발견했습니다: 야후 파이낸스에서 가져온 각 데이터에는 609,000개의 토큰이 포함되어 있었습니다. 이는 필요한 금융 데이터뿐만 아니라 전체 페이지 HTML—네비게이션 바, 쿠키 배너, 광고 마크업, 인라인 스크립트까지 모두 포함하고 있었습니다. 이 모든 불필요한 내용이 매번 가져올 때마다 컨텍스트 창에 덤핑되어 토큰 사용량과 비용을 급증시켰습니다.

해결책

개발자는 결국 이 문제를 해결해주는 도구를 찾아냈고, 이로 인해 상당한 토큰 사용량과 비용을 절약할 수 있었습니다. 출처에서는 어떤 도구를 사용했는지 구체적으로 명시하지 않았지만, 원시 HTML을 처리하는 AI 에이전트로 웹 스크래핑을 할 때 흔히 발생하는 문제입니다. 관련 내용만 추출하거나 처리 전에 HTML을 정리하는 도구를 사용하면 이러한 토큰 낭비를 방지할 수 있습니다.

핵심 요약

웹 콘텐츠를 가져오는 에이전트를 구축할 때는 항상 실제로 컨텍스트 창에 전송되는 내용을 검사해야 합니다. 현대 웹사이트의 원시 HTML에는 대량의 보일러플레이트, 스크립트, 마크업이 포함되어 있어 토큰 사용량을 기하급수적으로 부풀릴 수 있습니다. 필요한 콘텐츠만 추출하기 위한 전처리 과정을 구현하는 것이 비용 통제에 필수적입니다.