スクラップリングは、OpenClawのスクレイピングバックボーンとして統合されました。

オープンソースのスクレイピングライブラリであるScraplingは、OpenClawのコアスクレイピングバックボーンとして統合されました。これにより、AIエージェントが実世界のウェブデータに対応できない、スクレイパーが壊れる、Cloudflareの壁、サイト更新時にセレクターが失敗するといった一般的な問題が解決されます。

主な機能と特徴

ウェブサイトのリデザイン時に壊れるハードコードされたセレクターに依存するほとんどのスクレイピングツールとは異なり、Scraplingはページの構造を学習し、コードの書き換えを必要とせずに変更時に自動的に調整します。

• BeautifulSoup with Lxmlよりも774倍高速
• HTTPと完全なブラウザ自動化の両方で動作
• CSS、XPath、テキスト、正規表現セレクターをサポート
• 並列スクレイピングのための非同期セッション
• 開発者以外でもコードを書かずに使用できるCLIを含む

はじめに

インストールは簡単です：

pip install "scrapling[ai]"

このライブラリはBSD-3ライセンスの下で完全にオープンソースであり、GitHubで注目を集めています。