Claude Code AIエージェントがアクセシビリティAPIを介して物理的なiPhoneを制御

✍️ OpenClawRadar📅 公開日: February 26, 2026🔗 Source
Claude Code AIエージェントがアクセシビリティAPIを介して物理的なiPhoneを制御
Ad

AIエージェントが物理的なiPhoneを制御し、人間がタイピングすることなくRedditにコンテンツを書き込み投稿しています。この実演では、Claude Code(AnthropicのAIエージェント)がBlitz内で実行されており、BlitzはAIエージェントを物理的なiPhoneに接続するMacアプリです。

技術的実装

BlitzはWebDriverAgentを介して実機のiPhoneへのアクセスを提供し、ナビゲーションは完全にアクセシビリティAPIを通じて処理されます。開発者は特定の技術的制限に直面しました:通常のタップコマンドは物理デバイスでは機能せず、404「不明なコマンド」エラーを返します。

発見された回避策:ゼロ距離スワイプ(開始座標と終了座標が同じ)がタップとして登録されます。実演内のすべてのボタン押下はこのハックを使用しています。

ステップバイステップのプロセス

  • describe_screenを呼び出して、ホーム画面上のRedditアイコンの座標を見つける(scan_uiはシミュレータ専用のため、代わりにアクセシビリティツリーが使用された)
  • アイコンをゼロ距離スワイプしてRedditを開く
  • 検索ボタンをタップし、最近の検索にr/ClaudeAIを確認し、それをタップ
  • 作成を押し、タイトルフィールドをタップし、タイトルを入力
  • 投稿本文フィールドをタップし、書き始める

すべてのアクションは次のパターンに従います:describe_screen → 座標を解析 → swipe(x, y, x, y)。エージェントは「盲目で」電話を操作し、アクセシビリティJSONツリーを通じて世界を読み取ります。

開発者は、同じセッションについてr/vibecodingにも投稿し、そこで初期のタイトル選択に関するフィードバックを得たことに言及しています。

📖 完全なソースを読む: r/ClaudeAI

Ad

👀 See Also

開発者がClaude CodeとMowgliで3時間で個人OSアプリを構築
Use Cases

開発者がClaude CodeとMowgliで3時間で個人OSアプリを構築

ある開発者が、AIコーディングツールを使って3時間以内に「Longinus」というパーソナルOSアプリケーションを構築した過程を記録しました。このアプリは複数のコミュニケーションプラットフォームを統合し、AIを活用した整理機能を提供します。

OpenClawRadar
ClaudeをAI TPMに変える:個別インスタンスによる組織的記憶
Use Cases

ClaudeをAI TPMに変える:個別インスタンスによる組織的記憶

Redditユーザーが、ミーティングノート、Slackチャット、プロジェクト文書、組織のコンテキストをClaudeインスタンスに継続的に与えることで、AIテクニカルプログラムマネージャーとして機能する永続的なClaudeインスタンスを構築しました。このシステムは現在、組織の記憶を維持し、競合を特定し、次のステップを提案し、フォローアップ文書を生成します。

OpenClawRadar
Telegramトピックを使用した無制限の並列AIエージェント会話
Use Cases

Telegramトピックを使用した無制限の並列AIエージェント会話

ある開発者が、Telegramグループをフォーラムに変換することで、各トピックがAIエージェントの独立したセッションとして機能し、追加のボットやトークンを作成することなく無制限の並列会話を可能にすることを発見しました。

OpenClawRadar
「クロードとの出会い:AIが完全に制作したビジュアルノベル」
Use Cases

「クロードとの出会い:AIが完全に制作したビジュアルノベル」

開発者がClaude AIを活用して執筆、コーディング、アート、音楽、デプロイメントをほぼ全て行った風刺的ビジュアルノベル『Meet Claude』を制作しました。このゲームはAIアシスタントへの依存がもたらす影響を探求し、Steamで無料公開されており、複数のエンディングが用意されています。

OpenClawRadar