パイロット：Claude Codeで完全に構築されたブラウザ自動化ツール

Pilotは、非開発者が指示とテストを行い、Claude Codeによって完全に構築されたブラウザ自動化ツールです。スクリーンリーダーが使用するのと同じ構造であるアクセシビリティツリーを読み取り、クリック可能な要素に番号を割り当てることで、ClaudeがChromeを正確に制御できるようにします。

仕組み

このツールは、ページ要素をスクリーンショットではなくコンパクトなテキストデータに変換します。各クリック可能な要素には番号が割り当てられ、Claudeが画面位置を推測する代わりにclick 5のようなコマンドを発行できるようになります。このアプローチにより、ポップアップの処理や複数のタブ間での動作が可能になります。

セットアップと使用方法

• Chrome拡張機能をインストールし、サーバーを起動します
• Claude Codeで/pilotと入力します
• 「YouTubeに行って料理チュートリアルを検索して」のように、Claudeにタスクを依頼します

複数のアクションを1回の呼び出しでバッチ処理でき、このツールはページデータをスクリーンショットではなくコンパクトなテキストとして処理します。

開発の洞察

作成者はAIを使って構築する中で、いくつかの重要な教訓を学びました：

• 自分が何を望んでいるかを明確に説明することが最も難しい部分です
• テストは依然として人間の責任です—Claudeはコードを書きますが、それが機能するかどうかはあなたが確認する必要があります
• 開発にはワンショットではなく、多くの反復が必要でした

このツールは無料でMITライセンスであり、macOS、Linux、Windowsで動作します。実装に興味がある方や貢献したい方のために、GitHubリポジトリが利用可能です。