OpenClawエージェントから実際のiPhoneを制御する — AvaBerry43のセットアップを実践

OpenClawコミュニティメンバー（AvaBerry43）が、API経由でAIエージェントが実機iPhoneを直接制御できるシステムを構築しました。このプロジェクトにより、エージェントはエミュレーターやシミュレーターを使わずにiOSをネイティブ操作できます。開発者は70台の実機iPhoneを保有しており、実験したい他の開発者にアクセス権を提供しています。

テスト中の主な機能

• 承認付きiMessageの下書き作成 — エージェントがメッセージを作成し、ユーザーが承認後に送信。
• iOSショートカットの実行 — エージェントが任意のショートカット自動化をトリガー。
• APIのないアプリの使用 — エージェントがアプリUIを直接操作。
• モバイルアプリのQA/テスト — 実機での自動テスト。

仕組み

システムは、エージェントが電話を制御するためのAPIエンドポイントを提供します。例えば、エージェントはアプリを開いたり、ボタンをタップしたり、ショートカットを実行したりできます。開発者は「正直かなりうまく動く。予想以上だ」と報告しています。

電話へのアクセス

70台の電話は他の開発者も利用可能です。興味のある開発者は、元の投稿のリンクからアクセスをリクエストできます（以下のソース参照）。

OpenClawにとっての意義

モバイル自動化はAIコーディングエージェントにとってギャップでした。このセットアップにより、エージェントは実iOSアプリのテスト、iMessageやショートカットを含むワークフローの自動化、APIのないiOSアプリとのプログラム的な操作が可能になります。

潜在的なユースケース

• エージェントを使った自動モバイルQAパイプライン。
• 生成型UIテスト — エージェントがテストシナリオを作成し、実機で実行してバグを報告。
• 自然言語コマンドによるiOSショートカット自動化。
• iMessageベースの通知やアクションの承認フローのスクリプト化。