클로드 코드 문서에는 토큰 수를 부풀리는 과도한 리액트 컴포넌트가 포함되어 있습니다.

클로드 코드 문서용 PDF 및 Dash 문서 도구를 개발 중인 개발자가 공식 문서 파일에서 상당한 토큰 비효율성을 발견했습니다.

주요 발견 사항

분석 결과, llms.txt에서 링크된 .md 파일들은 실제로는 문서 내용과 함께 상당한 React 컴포넌트 코드를 포함하는 MDX 파일인 것으로 밝혀졌습니다.

소스의 구체적인 예시:

• context-window.md 페이지는 총 18,501개의 토큰을 포함합니다
• 이 중 실제 문서 내용을 나타내는 토큰은 551개에 불과합니다
• 나머지 토큰은 애니메이션 엔진, 전체 화면 토글 핸들러 및 기타 React 컴포넌트로 구성됩니다
• quickstart.md 페이지에는 GDPR 동의 감지를 포함한 A/B 테스트 인프라가 포함되어 있습니다

개발자는 이러한 토큰 수를 Anthropic 자체 API와 대조하여 확인했습니다.

이 발견은 이러한 파일을 처리하는 문서 도구를 구축하는 과정에서 이루어졌으며, MDX 파일에 포함된 React 컴포넌트가 문서 가치를 추가하지 않으면서도 토큰 수를 극적으로 증가시킬 수 있음을 보여줍니다.