Claude Code AIエージェントがアクセシビリティAPIを介して物理的なiPhoneを制御

✍️ OpenClawRadar📅 公開日: February 26, 2026🔗 Source
Claude Code AIエージェントがアクセシビリティAPIを介して物理的なiPhoneを制御
Ad

AIエージェントが物理的なiPhoneを制御し、人間がタイピングすることなくRedditにコンテンツを書き込み投稿しています。この実演では、Claude Code(AnthropicのAIエージェント)がBlitz内で実行されており、BlitzはAIエージェントを物理的なiPhoneに接続するMacアプリです。

技術的実装

BlitzはWebDriverAgentを介して実機のiPhoneへのアクセスを提供し、ナビゲーションは完全にアクセシビリティAPIを通じて処理されます。開発者は特定の技術的制限に直面しました:通常のタップコマンドは物理デバイスでは機能せず、404「不明なコマンド」エラーを返します。

発見された回避策:ゼロ距離スワイプ(開始座標と終了座標が同じ)がタップとして登録されます。実演内のすべてのボタン押下はこのハックを使用しています。

ステップバイステップのプロセス

  • describe_screenを呼び出して、ホーム画面上のRedditアイコンの座標を見つける(scan_uiはシミュレータ専用のため、代わりにアクセシビリティツリーが使用された)
  • アイコンをゼロ距離スワイプしてRedditを開く
  • 検索ボタンをタップし、最近の検索にr/ClaudeAIを確認し、それをタップ
  • 作成を押し、タイトルフィールドをタップし、タイトルを入力
  • 投稿本文フィールドをタップし、書き始める

すべてのアクションは次のパターンに従います:describe_screen → 座標を解析 → swipe(x, y, x, y)。エージェントは「盲目で」電話を操作し、アクセシビリティJSONツリーを通じて世界を読み取ります。

開発者は、同じセッションについてr/vibecodingにも投稿し、そこで初期のタイトル選択に関するフィードバックを得たことに言及しています。

📖 完全なソースを読む: r/ClaudeAI

Ad

👀 See Also

ESP32-S3、MiniClaw、マルチモーダルAIを活用したDiscord猫監視ボットの構築
Use Cases

ESP32-S3、MiniClaw、マルチモーダルAIを活用したDiscord猫監視ボットの構築

開発者は、ESP32-S3 SenseとMiniClawを使用してDiscordボットを構築しました。このボットは猫の画像や音声をキャプチャし、それをZhipu AIのVLM-4Vモデルに送信して、一般的な動き検知アラートではなく自然言語による説明を返します。

OpenClawRadar
ユーザーワークフロー:計画にはClaude.aiを、実装にはClaude Codeを使用
Use Cases

ユーザーワークフロー:計画にはClaude.aiを、実装にはClaude Codeを使用

ある開発者が、詳細な計画とアーキテクチャの議論にはClaude.aiを、実装にはClaude Codeを使用していると説明していますが、2つのツール間で共有状態がないため、手動でのファイル転送が必要だと指摘しています。

OpenClawRadar
OpenClaw AIエージェントがLinkedIn広告ワークフローを管理、CTR2.65%を達成
Use Cases

OpenClaw AIエージェントがLinkedIn広告ワークフローを管理、CTR2.65%を達成

ある開発者がOpenClawを使用して「Patrick」というAIエージェントを構築し、データパイプラインの作成、広告コピーの生成、カスタムレビューツールによる承認を含むLinkedIn広告ワークフロー全体を処理しました。AIが生成した広告の1つは2.65%のクリック率を達成し、すべての手動広告を上回りました。

OpenClawRadar
限られたハードウェアでのAIオーケストレーションにClaude Opus 4を使用
Use Cases

限られたハードウェアでのAIオーケストレーションにClaude Opus 4を使用

2014年製Mac Miniを活用したClaude Opus 4の推論エンジンとしての可能性を探る。Claude APIを利用して複雑なオーケストレーションタスクを処理する方法について。

OpenClawRadar