AI 코딩 도구 분석: 3,177개의 API 호출 해부하기

최근 4가지 AI 코딩 도구—Claude Code Opus 4.6, Claude Code Sonnet 4.5, Codex GPT-5.3, Gemini 2.5 Pro—에 대해 수행된 분석은 API 호출 컨텍스트 창 관리에서 상당한 차이를 강조합니다. Context Lens 추적기를 사용한 이 연구는 Express.js 환경에서 버그 수정 작업을 수행할 때 도구들의 컨텍스트 창 처리 효율성과 전략을 평가하기 위해 3,177개의 API 호출을 가로챘습니다.

각 코딩 도구는 res.send()에서 잘못 재정렬된 null 검사라는 특정 버그를 다뤘습니다. Opus, Sonnet, Codex, Gemini는 버그를 식별하고 수정한 다음 테스트 스위트를 실행하여 수정을 검증하는 작업을 수행했습니다. 모두 접근 방식과 사용 자원은 달랐지만 성공했습니다.

Claude Code Opus 4.6은 주로 도구 정의(컨텍스트의 69%)로 구성된 약 23K~27K 토큰을 일관되게 사용했습니다. 이는 아키텍처로 인해 이러한 정의를 재전송하는 데 의존함을 나타내며, 상당한 캐싱 오버헤드를 초래했습니다. Codex(GPT-5.3)는 주로 도구 결과(72%)로 구성된 29.3K~47.2K 토큰의 더 넓은 범위를 보였으며, 테스트 명령의 구체성에 따라 더 많은 변동성을 제공했습니다. Sonnet은 유사한 변동성을 보이면서 정의와 결과를 더 균등하게 혼합했습니다.

Gemini는 토큰 사용이 불균형적으로 높아 350.5K까지 치솟으며, 거의 독점적으로 도구 결과(96%)를 활용하여 1M의 큰 컨텍스트 창을 활용합니다. 토큰당 비용은 낮지만, 실행 간 수렴 없이 일관적이지 않고 광범위한 사용 패턴은 독특하지만 덜 효율적인 전략을 나타냅니다.

이러한 발견은 AI 코딩 도구가 컨텍스트 창을 관리하는 방식에 상당한 차이가 있음을 보여주며, 성능과 비용 효율성 모두에 영향을 미칩니다. 개발자는 특히 반복적인 변경이나 광범위한 프로젝트 기록을 포함하는 작업에 적합한 도구를 선택할 때 토큰 사용 전략을 고려해야 합니다.