OpenClawの死角を修正：全Anthropicブログを取得するサイトマップの構築

読者から、OpenClawによるAnthropicのテクノロジーブログの要約に一部の記事（特に4月8日のもの）が欠けているとの指摘がありました。根本原因は、Anthropicがブログを複数の異なるURLでホストしており、OpenClawのブラウザツールがそれらすべてをクロールしないことです。修正方法は、エージェントにすべてのリンクをクリックさせて完全なリストを作成し、そのサイトマップを要約パイプラインに読み込ませることでした。この解決策は、再利用しやすいようにスキルとしてパッケージ化されていますが、リンククリック処理のためサイトマップ生成に余分なトークンがかかります。

重要なポイント

• AnthropicのブログURLは統一されておらず、コンテンツを異なるホスト名に分散しているため、単純なスクレイピングでは不完全になる。
• OpenClawのRSS/ブログ集約用ブラウザツールは、すべてのページを自動発見せず、事前に完全なURLリストが必要。
• すべてのリンクを辿って手動でサイトマップを生成する方法は機能するが、サイトの規模に比例したトークンを消費する。

これは抜本的な修正ではなく実用的な回避策ですが、コンテンツが断片化されたサイトには有用なパターンです。複数のブログホストを確実にカバーする必要がある場合は、事前にサイトマップを準備するのが最も簡単な方法です。