Claude Code AIエージェントがアクセシビリティAPIを介して物理的なiPhoneを制御

AIエージェントが物理的なiPhoneを制御し、人間がタイピングすることなくRedditにコンテンツを書き込み投稿しています。この実演では、Claude Code(AnthropicのAIエージェント)がBlitz内で実行されており、BlitzはAIエージェントを物理的なiPhoneに接続するMacアプリです。
技術的実装
BlitzはWebDriverAgentを介して実機のiPhoneへのアクセスを提供し、ナビゲーションは完全にアクセシビリティAPIを通じて処理されます。開発者は特定の技術的制限に直面しました:通常のタップコマンドは物理デバイスでは機能せず、404「不明なコマンド」エラーを返します。
発見された回避策:ゼロ距離スワイプ(開始座標と終了座標が同じ)がタップとして登録されます。実演内のすべてのボタン押下はこのハックを使用しています。
ステップバイステップのプロセス
describe_screenを呼び出して、ホーム画面上のRedditアイコンの座標を見つける(scan_uiはシミュレータ専用のため、代わりにアクセシビリティツリーが使用された)- アイコンをゼロ距離スワイプしてRedditを開く
- 検索ボタンをタップし、最近の検索にr/ClaudeAIを確認し、それをタップ
- 作成を押し、タイトルフィールドをタップし、タイトルを入力
- 投稿本文フィールドをタップし、書き始める
すべてのアクションは次のパターンに従います:describe_screen → 座標を解析 → swipe(x, y, x, y)。エージェントは「盲目で」電話を操作し、アクセシビリティJSONツリーを通じて世界を読み取ります。
開発者は、同じセッションについてr/vibecodingにも投稿し、そこで初期のタイトル選択に関するフィードバックを得たことに言及しています。
📖 完全なソースを読む: r/ClaudeAI
👀 See Also

実用的なOpenClawセットアップ:Mac Miniの構成、コスト管理、日次自動化
開発者がMac Miniで動作する基本的なOpenClawアシスタントのセットアップを共有。セキュリティ対策、API費用の初期60-70ドルから日額0.60-2.60ドルへのコスト最適化、Telegram、Dropbox、Google Workspace via Composioなどの実用的な統合について詳細を説明。

Claude AIがZigbeeネットワークの問題を診断し、deCONZからZigbee2MQTTへの切り替えを推奨
ユーザーから報告があったところによると、Claude AIはdeCONZの問題を特定しました。シーンの切り替え時に80以上のZCL属性読み取りコマンドがトリガーされ、Conbee 2アダプターが過負荷になったとのことです。ClaudeはZigbee2MQTTへの移行を推奨し、これにより長年にわたる不安定な照明の動作が解決されました。

複数のAIエージェントの調整:Discord、Cronジョブ、明確な階層
開発者が3つのOpenClawエージェントを運用し、Discordを共有通信チャネルとして使用することで調整問題を解決しました。Paperclipの高価なハートビートシステムをエージェントごとのcronジョブに置き換え、Claude MaxとOpenAIモデル間で明確なリーダーシップ階層を確立しました。

Solo DevがClaude Codeで子供向けアプリを出荷、初日に23ドルを獲得
個人インディー開発者がClaude Codeを使用して子供向けの描画・学習アプリ「Little Artist」を構築・反復開発し、直近24時間で23ドルを稼いだ。AIコーディングツールにより、開発スピードが10倍になったと報告している。