OpenClaw의 사각지대 해결: 모든 Anthropic 블로그를 가져오기 위한 사이트맵 구축

한 독자가 OpenClaw의 Anthropic 기술 블로그 요약에서 일부 게시물, 특히 4월 8일 게시물이 누락된 것을 발견했습니다. 근본 원인은 Anthropic이 블로그를 여러 개의 서로 다른 URL에 호스팅하고 있으며, OpenClaw의 브라우저 도구가 이들을 모두 크롤링하지 않기 때문입니다. 해결 방법은 에이전트가 모든 링크를 클릭하여 완전한 목록을 작성한 후 사이트맵을 생성하고, 이 사이트맵을 요약 파이프라인에 입력하는 것이었습니다. 이 솔루션은 스킬 형태로 패키징되어 재사용이 용이하지만, 링크 클릭 과정으로 인해 사이트맵 생성에 추가 토큰이 소모됩니다.

핵심 요점

• Anthropic의 블로그 URL은 통합되어 있지 않습니다. 콘텐츠가 여러 호스트 이름에 분산되어 있어 단순 스크래핑으로는 완전히 수집할 수 없습니다.
• OpenClaw의 RSS/블로그 수집 브라우저 도구는 모든 페이지를 자동으로 발견하지 않으며, 사전에 전체 URL 목록이 필요합니다.
• 모든 링크를 탐색하여 사이트맵을 수동으로 생성하는 것은 작동하지만, 사이트 크기에 비례하여 토큰을 소모합니다.

이 방법은 근본적인 해결책이라기보다 실용적인 우회책이지만, 콘텐츠가 분산된 모든 사이트에 유용한 패턴입니다. 여러 블로그 호스트를 신뢰성 있게 커버해야 한다면, 사이트맵 사전 입력이 가장 간단한 접근 방식입니다.