AI 에이전트, 문맥 창 비대화로 토큰 낭비 사실 감사 API 로그로 드러나

r/ClaudeAI의 한 개발자가 폭등하는 청구서를 보고 Anthropic API 로그를 감사한 결과, 주요 비효율성을 발견했습니다: AI 에이전트가 정신을 잃는 것이 아니라, 자신의 컨텍스트 윈도우에 질식하고 있는 것입니다. 게시글은 10,000줄이 넘는 저장소에서 에이전트가 맹목적인 탐색, 원시 파일 읽기, 장황한 도구 출력에 토큰을 낭비하며, 20턴 이상 지나면 아키텍처가 스파게티 코드로 변한다고 설명합니다.

API 로그 감사의 주요 발견

• 맹목적 탐색: 에이전트가 단일 함수를 찾기 위해 grep과 읽기를 반복하며 약 40개의 파일을 탐색합니다. 기존 UI 컴포넌트를 찾는 대신, 종종 처음부터 중복으로 환각을 냅니다.
• 원시 읽기: 에이전트가 5줄짜리 인터페이스를 업데이트하기 위해 2,000줄짜리 파일을 읽으며 불필요하게 토큰을 소모합니다.
• 셸 및 도구 과잉: 장황한 테스트 로그와 비대해진 MCP 도구 정의가 코드를 입력하기 전에 약 30,000개의 토큰을 소모합니다.
• 금붕어 기억: 프로젝트 인식 메모리가 전혀 없어 세션마다 동일한 파일을 다시 읽습니다. 마치 그라운드호그 데이와 같습니다.

이러한 노이즈로 컨텍스트 윈도우가 약 80%에 도달하면 에이전트의 추론 품질이 눈에 띄게 떨어지고 아키텍처 붕괴가 시작됩니다. 표준 RAG나 출력 압축으로는 근본 원인을 해결하지 못합니다: 에이전트가 원시 텍스트를 읽어 토큰을 소모하기 전까지는 코드베이스의 구조적 이해가 없기 때문입니다.

실용적 시사점

개발자는 생산성 역설에 직면합니다: 한 시간의 타이핑을 절약했지만 AI가 만든 스파게티 코드를 수정하는 데 다섯 시간을 쏟습니다. 게시글은 토큰을 원시 텍스트에 낭비하기 전에 코드를 그래프로 이해하는 근본적으로 새로운 에이전트 아키텍처가 필요한지 의문을 제기합니다.

대상 독자

대규모 코드베이스에서 AI 코딩 에이전트를 사용하며 숨은 토큰 낭비를 이해하고 비용 효율성을 개선하려는 엔지니어.