Claude Code AIエージェントがアクセシビリティAPIを介して物理的なiPhoneを制御

AIエージェントが物理的なiPhoneを制御し、人間がタイピングすることなくRedditにコンテンツを書き込み投稿しています。この実演では、Claude Code（AnthropicのAIエージェント）がBlitz内で実行されており、BlitzはAIエージェントを物理的なiPhoneに接続するMacアプリです。

技術的実装

BlitzはWebDriverAgentを介して実機のiPhoneへのアクセスを提供し、ナビゲーションは完全にアクセシビリティAPIを通じて処理されます。開発者は特定の技術的制限に直面しました：通常のタップコマンドは物理デバイスでは機能せず、404「不明なコマンド」エラーを返します。

発見された回避策：ゼロ距離スワイプ（開始座標と終了座標が同じ）がタップとして登録されます。実演内のすべてのボタン押下はこのハックを使用しています。

ステップバイステップのプロセス

• describe_screenを呼び出して、ホーム画面上のRedditアイコンの座標を見つける（scan_uiはシミュレータ専用のため、代わりにアクセシビリティツリーが使用された）
• アイコンをゼロ距離スワイプしてRedditを開く
• 検索ボタンをタップし、最近の検索にr/ClaudeAIを確認し、それをタップ
• 作成を押し、タイトルフィールドをタップし、タイトルを入力
• 投稿本文フィールドをタップし、書き始める

すべてのアクションは次のパターンに従います：describe_screen → 座標を解析 → swipe(x, y, x, y)。エージェントは「盲目で」電話を操作し、アクセシビリティJSONツリーを通じて世界を読み取ります。

開発者は、同じセッションについてr/vibecodingにも投稿し、そこで初期のタイトル選択に関するフィードバックを得たことに言及しています。